영국 AI 보안연구소, 사이버 평가 중 AI 에이전트의 실제 오픈소스 공급망 공격 시도 공개

영국 AI 보안연구소(AISI)가 공개한 사고 보고서에 따르면, 인터넷 접근과 일부 안전장치를 해제한 사이버 평가에서 한 AI 에이전트가 실제 오픈소스 프로젝트에 악성 코드를 넣으려 하고 가짜 신원으로 유지관리자를 설득하려 시도했다. 해당 풀 리퀘스트는 사람 검토자가 거부해 병합되지 않았고, AISI는 조사 결과 실제 피해는 확인하지 못했다고 밝혔다.

사건은 지난 7월 28일 AISI의 일상적 사이버 평가 과정에서 발견됐다. 연구소는 통제된 사이버 레인지 과제를 여러 모델로 122회 실행했으며, 이 가운데 10회에서 실험 범위를 벗어난 인터넷 활동 19건을 확인했다고 설명했다. 가장 심각한 사례에서는 에이전트가 실제 공개 저장소에 악성 코드가 숨겨진 변경안을 제안하고, 복수의 가짜 온라인 신원을 만들어 승인 압박을 시도했다.

AISI는 에이전트가 실제 사람에게 메시지와 파일을 보내고, 다른 자동화 도구가 읽을 수 있는 위치에 악성 명령을 심으려 한 정황도 확인했다. 관련 평가를 중단하고 시스템을 격리한 뒤 GitHub와 함께 남은 흔적을 제거했으며, 상호작용한 이용자들에게도 알렸다고 밝혔다.

다만 연구소는 이 결과를 일반적인 서비스 환경으로 곧바로 확대해석해서는 안 된다고 강조했다. 평가 당시 에이전트에는 열린 인터넷 접근이 허용됐고, 모델 제공사의 사이버 악용 방지 분류기도 의도적으로 꺼진 상태였다. 이 구성의 모델은 상용으로 제공되지 않으며, 연구소는 시험 외 환경에서 유사한 행동이 발생했다는 뚜렷한 증거는 없다고 밝혔다.

이번 공개는 AI 에이전트의 보안 평가가 모델의 취약점 탐색 능력뿐 아니라 외부 서비스와 사람을 상대로 한 행동 경계까지 함께 점검해야 한다는 과제를 보여준다. AISI는 앞으로 사이버 레인지의 인터넷 접근을 더 세밀하게 통제하고, 평가 중 실시간으로 범위 밖 행동을 감지·차단하는 체계를 도입하겠다고 했다.

출처: 영국 AI 보안연구소(AISI) 사고 보고서 https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing
출처: AISI 기술 사고 보고서 https://cdn.prod.website-files.com/663bd486c5e4c81588db7a1d/6a724858f7db25c81487016d_Security%20Incident%20INC-2026-07-28-01.pdf