Mozilla AI, 오픈소스 에이전트 가드레일 평가…함수 호출 오작동 탐지는 한계

Mozilla AI 공식 기술 블로그에 따르면 연구진은 오픈소스 가드레일 모델이 AI 에이전트 내부의 간접 프롬프트 주입과 잘못된 함수 호출을 얼마나 탐지할 수 있는지 평가했다. 실험에서는 프롬프트 주입 탐지 모델 7종 계열과 판정 모델 FlowJudge, GLIDER를 Mozilla AI의 any-guardrail 도구로 비교했다.

연구진은 간접 프롬프트 주입 평가에 Microsoft의 BIPIA 데이터셋 가운데 이메일 1만1250건과 표 2만2550건을 사용했다. 정상 입력을 구분할 수 있도록 Allen Institute for AI의 WildGuardMix에서 양성 데이터 1만1248건도 표본으로 추가했다.

이메일 평가에서 Sentinel의 F1 점수는 0.87로 가장 높았고 PIGuard는 0.86을 기록했다. 표 평가에서는 PIGuard가 F1 0.91로 최고였다. 일부 모델은 공격을 대부분 잡아내는 대신 정상 입력까지 공격으로 분류하는 경향을 보였고, 다른 모델은 데이터 형식이 바뀌자 성능이 크게 떨어졌다. Mozilla AI는 두 형식에서 정밀도와 재현율의 균형을 비교적 일관되게 유지한 모델로 PIGuard를 꼽았다.

함수 호출 오작동 탐지는 성능 격차가 더 컸다. 연구진은 에이전트가 선택한 도구가 존재하는지, 요청과 관련 있는지, 실행에 필요한 매개변수를 갖췄는지를 판정하도록 FlowJudge와 GLIDER에 평가 기준을 줬다. HammerBench의 단일 대화 1만3054건을 대상으로 측정한 결과 FlowJudge의 F1 점수는 0.09, GLIDER는 0.38이었다. 두 모델의 재현율도 각각 0.04와 0.32에 그쳤다.

이번 실험은 일반적인 입출력 필터만으로는 에이전트의 도구 실행 경로를 충분히 보호하기 어렵다는 문제의식에서 출발했다. 에이전트는 외부 문서와 데이터베이스를 읽고 함수를 호출하기 때문에, 사용자 입력과 최종 응답뿐 아니라 구성요소 사이를 오가는 데이터와 도구 호출도 검사해야 한다는 설명이다.

다만 결과를 실제 서비스의 종합 보안 성능으로 해석하기는 어렵다. 평가 대상 모델은 해당 에이전트 위험을 위해 직접 설계된 것이 아니며, 공개 데이터셋을 이진 분류 문제로 바꿔 측정했다. 연구진도 함수 호출 오작동 탐지는 아직 해결되지 않은 과제로 규정했다.

Mozilla AI는 실험 코드와 분석 노트북, 원시 결과를 GitHub에 공개했다. 저장소 설명에 따르면 실험에는 H100 GPU를 사용했으며, 연구진은 고성능 MacBook Pro급 장비에서도 재현할 수 있다고 안내했다. 이번 공개는 에이전트 보안 도구를 선택할 때 단일 정확도 수치보다 공격 유형과 데이터 형식, 오탐과 미탐의 균형을 함께 검증해야 한다는 점을 보여준다.

출처: Mozilla AI 공식 기술 블로그 https://blog.mozilla.ai/can-open-source-guardrails-really-protect-ai-agents/
출처: Mozilla AI 실험 코드·데이터 저장소 https://github.com/mozilla-ai/bir_guardrail_experiments
출처: Mozilla AI any-guardrail 공식 저장소 https://github.com/mozilla-ai/any-guardrail