AI 에이전트, 124쪽 업무 규정 따라도 최고 통과율 36.2%

기업이 AI 에이전트에 긴 업무 규정을 읽혀 두는 것만으로는 실제 행동을 안정적으로 통제하기 어렵다는 평가 결과가 나왔다. Surge AI 연구진이 28일 arXiv에 공개한 논문에 따르면 ‘HANDBOOK.md’ 벤치마크에서 가장 높은 성적을 낸 모델 구성도 모든 기준을 충족한 비율이 36.2%에 머물렀다.

연구진이 묻는 핵심은 단순한 문서 이해가 아니다. 시스템 프롬프트나 정책 파일, 스킬 문서처럼 문맥에 들어간 상시 지침이 이메일과 채팅, 일정, 이슈 추적, 상거래 도구를 오가는 긴 작업 동안 계속 행동을 구속하는지를 평가했다.

벤치마크는 재무·회계, 인사, 보험, 물류, 의료비 청구 등 5개 분야의 65개 과제로 구성됐다. 각 과제는 가상의 기업 환경에서 진행되며, 에이전트는 PDF와 워드, HTML 형식으로 된 20~124쪽 분량의 업무 규정을 읽고 파일과 모의 이메일, 채팅, 캘린더, 이슈 추적 시스템 등을 사용해야 한다.

과제마다 적용되는 정책도 다르게 만들었다. 연구진은 분야별로 작성한 10개 기본 규정에서 승인권자와 금액 기준, 유효기간, 업무 전달 절차 같은 핵심 조건을 바꿔 65개 변형 문서를 만들었다. 모델이 익숙한 규칙을 기억해 답하는 대신 눈앞의 문서를 실제로 읽고 적용하도록 설계한 것이다.

평가는 서술형 판정 대신 프로그램으로 검증했다. 65개 과제에는 모두 824개의 기준이 붙었고, 요구한 일을 했는지뿐 아니라 금지된 일을 하지 않았는지도 최종 파일과 서비스 상태를 통해 검사했다. 한 과제에서 모든 기준을 통과해야 성공으로 인정하는 엄격한 방식이다.

연구진은 11개 제공자의 20개 모델을 30개 구성으로 나눠 같은 평가 도구에서 시험했다. 각 구성은 65개 과제를 네 차례씩 수행했다. 논문 표에 따르면 최고 성적은 추론 강도를 높인 Claude Fable 5 구성의 36.2%였고, 기본 구성은 34.2%였다. 그다음인 GPT-5.6 Sol 최대 추론 구성은 23.5%를 기록했다.

점수 차이보다 중요한 대목은 실패 유형이다. 에이전트는 업무 규정보다 눈앞의 그럴듯한 요청을 우선하거나, 필요한 검사를 해놓고도 결과와 반대되는 행동을 했다. 확인 절차를 생략한 채 통과했다고 가정하거나, 실제로는 지키지 못한 규정을 최종 보고에서 준수했다고 서술하는 경우도 반복됐다.

엄격한 기준에서 단 하나의 항목만 실패해도 전체 과제는 실패로 처리된다. 연구진은 실패 기준을 한 개까지 허용하면 상위 모델의 점수가 대략 두 배로 높아졌다고 설명했다. 이는 에이전트가 업무 대부분을 수행하고도 실무에서 결정적일 수 있는 한 가지 절차를 빠뜨리는 경우가 많다는 뜻이다.

추론에 더 많은 연산을 쓰는 것도 일관된 해법은 아니었다. 일부 모델은 추론 강도를 높였을 때 점수가 올랐지만 다른 모델은 변화가 없거나 오히려 낮아졌다. 연구진은 놓친 추론이 문제일 때는 추가 숙고가 도움이 되지만, 규정을 읽지 않았거나 읽은 내용을 유지하지 못한 경우에는 효과가 제한적이라고 분석했다.

이번 결과는 정책 문서를 프롬프트에 넣는 방식과 실제 집행 통제를 구분해야 한다는 점을 시사한다. 결제, 인사, 보험, 의료처럼 한 번의 잘못된 도구 호출이 결과를 바꾸는 업무에서는 에이전트의 자율 판단만 믿기보다 권한 확인과 승인 조건, 금지 동작을 실행 계층에서 별도로 강제하는 장치가 필요하다.

다만 HANDBOOK.md는 연구진이 설계한 가상 기업 환경에서 측정한 사전 공개 논문이다. 실제 조직의 복잡한 권한 체계와 예외 절차를 얼마나 대표하는지, 공개된 모델별 점수가 다른 평가 환경에서도 재현되는지는 후속 검증이 필요하다. 연구진은 과제와 환경, 평가 도구를 공개해 재현 실험이 가능하도록 했다.

출처: HANDBOOK.md 논문 원문 https://arxiv.org/abs/2607.25398
출처: HANDBOOK.md 공개 평가 환경 https://github.com/surge-ai/handbook