Supabase, AI 코딩 에이전트 평가 도구 'Evals' 오픈소스로 공개

Supabase 공식 블로그에 따르면 회사는 AI 코딩 에이전트가 Supabase 기반 개발 과제를 얼마나 잘 수행하는지 측정하는 'Supabase Evals'를 오픈소스로 공개했다. 데이터베이스 스키마 구성과 엣지 함수 디버깅, 행 수준 보안(RLS) 정책 수정처럼 실제 개발 과정에서 마주치는 과제를 에이전트에 맡기고 결과를 평가한다.

평가 대상에는 Claude Code와 Codex, OpenCode 등 여러 코딩 에이전트 실행 환경이 포함된다. Supabase는 공개 벤치마크와 내부 회귀 테스트를 나눠 운영한다. 공개 벤치마크는 제품과 개발 단계 전반을 폭넓게 다루고, 회귀 테스트는 알려진 실패 유형이 다시 나타나는지를 매일 확인하는 방식이다.

각 시나리오는 실제 Supabase 환경을 바탕으로 실행된다. 프레임워크는 호스팅 환경과 비슷한 스택과 로컬 CLI 프로젝트를 컨테이너에 구성하고, 에이전트가 실제 MCP 서버와 CLI를 사용하도록 한다. 평가는 데이터 접근 가능 여부나 엣지 함수 응답처럼 자동으로 판정할 수 있는 항목과 의미 판단이 필요한 항목을 함께 사용한다.

Supabase는 벤치마크를 구축하는 과정에서 에이전트가 최신 개발 관행을 놓치는 사례도 확인했다. 기존 프로젝트가 선언형 스키마를 사용하고 있어도 마이그레이션 파일을 직접 작성하려 하거나, 새 서버 라이브러리 대신 익숙한 방식으로 인증 코드를 구현하는 문제가 나타났다. 회사는 평가 결과를 바탕으로 에이전트용 기술 지침과 공식 문서를 보완했다고 설명했다.

기술 지침을 제공한다고 모든 결과가 크게 좋아지는 것은 아니었다. Supabase는 다수의 과제를 지침 없이도 통과한 에이전트가 있었지만, 지침을 불러온 경우 최신 문서와 변경 사항을 더 일관되게 확인했다고 밝혔다. 코딩 에이전트의 성능이 모델 자체뿐 아니라 문서 접근, 도구 구성, 지침 호출 방식에 따라 달라질 수 있음을 보여주는 대목이다.

저장소에는 평가 과제의 프롬프트와 채점기, 실행 환경, 에이전트·모델별 실험 구성이 공개됐다. 개발자는 특정 과제와 실행 조합을 골라 로컬에서 평가하고, 결과를 웹 앱 형식으로 내보낼 수 있다. Supabase는 앞으로 예외 사례와 채점 안정성을 보강하고, 에이전트가 작업 중 겪은 문제를 직접 제출할 수 있는 CLI 명령과 MCP 도구도 추가할 계획이다.

공개 페이지의 점수는 특정 시점의 실행 결과다. 모델과 에이전트 도구가 빠르게 바뀌는 만큼 순위를 고정된 성능 비교로 받아들이기보다, 실제 Supabase 과제에서 나타나는 실패 유형과 도구 개선 여부를 추적하는 자료로 보는 것이 적절하다.

출처: Supabase 공식 블로그 https://supabase.com/blog/introducing-supabase-evals
출처: Supabase Evals 공식 페이지 https://supabase.com/evals
출처: Supabase Evals 공식 GitHub 저장소 https://github.com/supabase/evals