AI 코드, 테스트 통과해도 병합은 별개…FrontierCode 평가 1위 통과율 58%

AI 평가기관 Artificial Analysis가 12일자로 공개한 FrontierCode 1.1 평가에서 최고 모델의 필수 기준 통과율은 58%로 나타났다. 공식 평가 원문에 따르면 Claude Opus 5.5가 가장 높은 평균 점수를 기록했지만, 모든 필수 기준을 충족하지 못한 시도도 40%를 넘었다.

FrontierCode는 Cognition이 오픈소스 저장소 유지보수자들과 만든 코딩 벤치마크다. 프로그램이 요구한 기능을 수행하는지에 더해, 유지보수자가 병합할 만한 변경인지 평가하도록 설계됐다. 불필요하게 큰 수정, 관련 없는 파일 변경, 도움이 되지 않는 테스트도 평가 대상에 포함된다. Cognition은 6월 벤치마크를 처음 발표했고, 7월에는 인터넷 이용의 공정성 규칙을 강화한 1.1 버전을 공개했다. 이번 소식은 Artificial Analysis가 수행한 별도 모델 비교 평가다.

Artificial Analysis는 전체 150개 과제 중 Main 세트 100개를 모델마다 세 차례씩 실행했다. 모든 모델에 동일한 오픈소스 에이전트 실행 환경인 Stirrup을 사용하고, 시도당 최대 250턴으로 제한했다. 숨겨진 테스트와 명령 실행 결과, 변경 파일과 코드 규모 제한을 확인하며, 평가표의 정성적 검토 항목에는 GPT-6 Luna의 medium 설정을 심사 모델로 사용했다. 과제는 평가 데이터 오염을 줄이기 위해 비공개로 유지된다.

통과율과 평균 점수는 서로 다른 지표다. 통과율은 필수 항목을 모두 충족한 시도의 비율이고, 평균 점수에는 병합을 막지는 않지만 바람직한 품질 항목도 반영된다. 필수 항목 하나라도 실패하거나 정답을 찾아본 것으로 판정되면 해당 시도는 0점이다. 필수 항목을 모두 통과한 시도는 70~100%의 점수를 받는다.

Claude Opus 5.5는 max with fallback 설정에서 평균 점수 52%, 통과율 58%를 기록했다. GPT-6.1 Sol의 max 설정과 Claude Fable 5.1의 max with fallback 설정은 평균 점수 49%로 뒤를 이었다. 6개 개발사의 9개 모델이 43~52% 구간에 모였으며, 오픈 웨이트 모델 중에서는 MiMo-V2.6-Pro가 45%로 가장 높았다. 100개 과제 중 9개는 어떤 모델도 단 한 번도 통과하지 못했다.

비용 차이도 컸다. 발표 기준 과제당 비용은 GPT-6.1 Sol이 0.81달러, Claude Opus 5.5가 10.15달러였다. 평균 점수는 3%포인트 차이지만 비용은 12배 이상 차이가 난다. 이는 해당 평가 환경과 모델 설정에서 측정한 결과로, 개발자의 검토나 후속 수정까지 포함한 실제 프로젝트 비용과는 구분해야 한다.

이번 평가는 기능 테스트만으로 드러나지 않는 코드 품질을 비교하려는 시도다. 다만 통과율을 실제 오픈소스 프로젝트의 병합률로 받아들여서는 안 된다. 유지보수자의 기준을 테스트와 평가표, 모델 심사로 재현한 결과이며 개별 코드가 실제로 병합됐다는 뜻은 아니다. Artificial Analysis는 이 평가를 별도 순위표로 제공하며 종합 Intelligence Index에는 포함하지 않았다.

출처: Artificial Analysis 평가 원문 https://artificialanalysis.ai/articles/frontiercode
Artificial Analysis 공식 평가 방법론 https://artificialanalysis.ai/methodology/intelligence-benchmarking#frontiercode
Cognition 공식 FrontierCode 소개 https://cognition.com/blog/frontier-code
Cognition 공식 FrontierCode 1.1 안내 https://cognition.com/blog/frontier-code-1.1