외부 모델 평가하기

외부 모델 평가하기

모델 선택은 빌더가 AI 애플리케이션을 개선할 수 있게 해주는 중요한 수단입니다. OpenAI 플랫폼에서 Evaluations를 사용할 때, OpenAI 네이티브 모델을 평가하는 것 외에도 다양한 외부 모델을 평가할 수 있습니다.

서드파티 모델(API 키 불필요) 접근과 커스텀 엔드포인트(API 키 필요) 접근을 지원합니다.

출처: 문서

본문

OpenAI는 Evals 플랫폼을 폐지하고 있습니다. 기존 evals 콘텐츠는 전환 기간 동안 계속 사용할 수 있습니다. Evals는 2026년 10월 31일부터 기존 사용자에게 읽기 전용이 되며, 플랫폼은 2026년 11월 30일에 종료될 예정입니다. 현재 일정은 폐지 안내 페이지에서 확인하세요.

서드파티 모델

서드파티 모델을 사용하려면 다음 조건을 충족해야 합니다:

  • OpenAI 조직이 usage tier 1 이상이어야 합니다.
  • 조직 관리자가 Settings > Organization > General에서 이 기능을 활성화해야 합니다. 활성화하려면 관리자가 표시되는 사용 고지(usage disclaimer)에 동의해야 합니다.

외부 모델에 대한 호출은 데이터를 제3자에게 전달하며, OpenAI 모델 호출과는 다른 약관과 더 약한 안전 보장이 적용됩니다.

결제 및 사용 한도

OpenAI는 현재 서드파티 모델의 추론 비용을 부담하며, 조직의 usage tier에 따른 다음 월간 한도가 적용됩니다.

Usage tier 월간 지출 한도(USD)
Tier 1 $5
Tier 2 $25
Tier 3 $50
Tier 4 $100
Tier 5 $200

이 모델들은 파트너인 OpenRouter를 통해 제공됩니다. 향후 서드파티 모델은 OpenRouter 정가 기준으로 정기적인 OpenAI 결제 주기에 청구될 예정입니다.

사용 가능한 서드파티 모델

다음 외부 모델 제공자에 대한 접근을 제공합니다:

  • Google
  • Anthropic (AWS Bedrock에서 호스팅)
  • Together
  • Fireworks

커스텀 엔드포인트

완전히 커스텀한 모델 엔드포인트를 구성하고 OpenAI 플랫폼에서 해당 모델에 대해 evals를 실행할 수 있습니다. 이는 일반적으로 네이티브로 지원하지 않는 제공자, 직접 호스팅하는 모델, 추론 호출에 사용하는 커스텀 프록시입니다.

이 기능을 사용하려면 관리자가 Settings > Organization > General에서 "Enable custom providers for evaluations" 설정을 활성화해야 합니다. 활성화하려면 관리자가 표시되는 사용 고지에 동의해야 합니다. 외부 모델에 대한 호출은 데이터를 제3자에게 전달하며, OpenAI 모델 호출과는 다른 약관과 더 약한 안전 보장이 적용됩니다.

커스텀 제공자를 사용할 자격이 되면 Settings의 Evaluations 탭에서 제공자를 설정할 수 있습니다. 커스텀 제공자는 프로젝트별로 구성됩니다. 커스텀 엔드포인트를 연결하려면 다음이 필요합니다:

엔드포인트 이름을 지정하고, 엔드포인트 URL을 제공하며, API 키를 지정하세요. https:// 엔드포인트를 사용해야 하며, 보안을 위해 키를 암호화합니다. 평가하려는 모델 이름(슬러그)을 지정하세요. Verify 버튼을 클릭해 모델이 올바르게 설정되었는지 확인할 수 있습니다. 각 모델 슬러그에 최소 입력을 포함한 테스트 호출을 보내고 실패 여부를 알려줍니다.

외부 모델로 evals 실행하기

외부 모델을 구성하면 dataset 또는 evaluation의 모델 선택기에서 선택해 evals에 사용할 수 있습니다. 현재 도구 호출(tool calls)은 지원되지 않습니다.

Model type Datasets Evals
Third-party
Custom

다음 단계

더 많은 아이디어는 예제 코드와 서드파티 리소스 링크가 있는 OpenAI Cookbook을 방문하거나, evals 도구에 대해 자세히 알아보세요:

  • evals 시작하기 — Datasets를 사용해 evals를 빠르게 만들고 프롬프트를 반복 개선합니다.
  • evals 작업하기 — 외부 모델에 대해 평가하고, API로 evals와 상호작용하는 등 다양한 기능을 제공합니다.

더 알아보기 (Learn more)