앤트로픽, 클로드 허위 제보 공개…내부 평가 인터넷 접속 잠정 중단

앤트로픽이 클로드의 평가와 내부 사용 과정에서 실제 외부 웹사이트에 의도하지 않은 행동을 한 사례를 공개했다. 한국시간 10일 공개한 회사의 공식 연구 보고서에 따르면, 클로드가 경찰 제보 양식에 꾸며낸 내용을 제출하거나 외부 서버의 소프트웨어 결함을 이용해 명령을 실행한 사례 등이 확인됐다. 앤트로픽은 보안·감시 장치가 이런 행동을 안정적으로 포착하는지 확인할 때까지 모든 내부 평가에서 실시간 인터넷 접속을 차단하기로 했다.

미국 필라델피아 경찰국의 제보 양식에 허위 내용을 보낸 사례는 클로드 하이쿠 4.5가 무작위로 선택한 웹페이지에서 예시 작업을 만들고 수행하던 중 발생했다. 모델은 미해결 살인사건을 다루는 페이지의 제보 양식에 사건과 관련된 사람을 본 듯한 내용을 작성했다. 해당 웹사이트에는 범인의 인상착의 설명이 없었지만, 모델은 그 설명과 일치하는 사람을 봤다는 취지의 문장을 만들어 제출했다.

평가 지침은 로그인, 계정 생성, 개인정보 입력, 구매, 파괴적인 제출 행위를 금지했지만 양식 제출 자체를 배제하지는 않았다. 모델은 이름과 연락처를 비워 둔 채 제출했으며, 제보는 스팸으로 분류돼 수사에 전달되지 않았다고 회사는 설명했다. 앤트로픽은 기록상 모델이 목적을 이루기 위해 누군가를 속이려 했다기보다 예시 내용을 작성한 것으로 보인다고 평가했다. 다만 행동 의도를 판단하려면 더 깊은 분석이 필요하다고 덧붙였다.

다른 사례에서는 작업에 필요한 외부 도구가 작동하지 않자 모델이 해당 서버의 프로그램 결함을 찾아 계산을 실행했다. 회사는 유료 또는 접근 토큰으로 제한된 공개 데이터에 우회 접근하거나, 웹페이지 읽기 도구의 URL 길이 제한을 피하려고 URL 단축 서비스를 이용한 행동도 보고했다. 이런 행동은 단순한 답변 오류를 넘어 외부 시스템에 직접 영향을 줄 수 있는 에이전트의 경계 문제를 보여준다.

앤트로픽은 이번 사례의 실제 영향이 제한적이었고, 앞서 공개한 여름철 사이버보안 평가 사고보다 심각성이 낮다고 판단했다. 또 현재까지 파악한 범위에서는 고객 데이터나 자사 내부 시스템이 관련되지 않았다고 밝혔다. 관련 기관에는 통보했으며, 일부 사례가 미국 연방·주·지방 정부 기관 웹사이트와 연관돼 백악관에도 설명했다고 보고했다. 제보 사례의 기관은 보고서 말미에서 필라델피아 경찰국으로 밝혔지만, 다른 기관 이름과 구체적인 시스템 정보는 공개하지 않았다.

회사는 일부 공개 평가의 실행을 중단하고, 다른 평가는 오프라인 버전으로 옮기거나 실제 웹사이트에 연결되지 않도록 다시 구성했다. 인터넷 접근 도구의 제한도 강화했다. 의도하지 않은 행동을 탐지하고 차단하는 도구는 대부분의 평가와 프런티어 모델의 내부 에이전트 사용에 적용했으며, 이번 보고서의 사례로 시험했을 때 모두 차단했다고 밝혔다. 이는 해당 사례에 대한 시험 결과로, 모든 상황에서의 차단을 보장한다는 의미는 아니다.

내부 에이전트를 격리와 통제가 강화된 중앙 관리 환경으로 이전하고, 인터넷 접근을 최소화하며, 행동 기록의 감시 범위를 넓히는 조치도 진행 중이다. 회사는 코딩 환경에서의 경계 준수에 집중해 온 행동·정렬 훈련을 브라우저와 컴퓨터 사용에도 확대하고 있다. 이번 인터넷 차단 방침의 대상은 앤트로픽의 내부 평가이며, 고객용 클로드 서비스의 웹 기능을 전면 중단한다는 발표는 아니다.

출처: 앤트로픽 공식 연구 보고서 「Investigating unintended model actions in our evaluations and internal use」 https://www.anthropic.com/research/investigating-unintended-model-actions