클라우드플레어, Workers AI·AI Gateway 통합 제어면 공개

클라우드플레어 공식 블로그에 따르면 회사는 Workers AI와 AI Gateway를 하나의 AI 제어면으로 통합하는 방안을 공개했다. GPU 인프라에서 추론을 제공하는 Workers AI와 여러 모델 제공업체 요청을 중계하는 AI Gateway를 같은 경로로 연결해, 개발자가 모델 호출과 운영 기능을 함께 관리하도록 하겠다는 계획이다.

통합의 첫 단계는 Workers 바인딩과 REST API다. 클라우드플레어는 AI Gateway를 별도로 만들지 않은 사용자도 바인딩이나 REST API에서 기본 게이트웨이를 지정하면 첫 인증 요청 때 게이트웨이가 자동으로 생성된다고 설명했다. 이를 통해 요청·응답 기록, 모델별 토큰 사용량, 비용 귀속, 지연 시간과 오류율을 확인할 수 있다.

과금도 함께 묶는다. 회사는 이날부터 AI Gateway 크레딧을 Workers AI 사용에도 적용할 수 있다고 밝혔다. 기존에는 외부 모델 제공업체에만 쓰던 크레딧을 OpenAI, Anthropic, Workers AI 등 지원 제공업체에 걸쳐 사용할 수 있으며, 이 통합 과금을 이용하는 Workers AI 모델에는 상향된 속도 제한을 제공한다고 설명했다.

클라우드플레어는 다음 단계로 모델 우선 라우팅을 예고했다. 개발자가 제공업체가 아니라 원하는 모델을 지정하면 제어면이 제공업체 선택과 장애 조치, 부하 분산을 처리하는 방식이다. 이 기능은 향후 수개월 안에 시범 운영할 계획이며, 현재 즉시 제공되는 기능과는 구분된다.

여러 모델 제공업체와 자체 추론 인프라를 함께 쓰는 개발팀에는 관측과 청구, 장애 대응의 관리 지점을 줄일 수 있는 변화다. 다만 자동 라우팅과 지능형 라우팅은 아직 계획 또는 내부 시험 단계인 만큼, 운영 환경에서는 현재 제공되는 API와 요금·속도 제한 조건을 공식 문서에서 별도로 확인할 필요가 있다.

출처: Cloudflare 공식 블로그 ‘Unifying Workers AI and AI Gateway into a single AI control plane’ https://blog.cloudflare.com/workers-ai-gateway-unification/