평가 모델

평가 모델 (Evaluation Models)

프로젝트에서 LLM-as-a-judge 메트릭을 실행할 때 사용하는 평가 모델을 구성하고 관리하는 설정이에요. Confident AI는 기본적으로 플랫폼에서 실행되는 모든 평가에 사용할 평가 모델을 제공해요. 하지만 원하는 대로 평가 모델을 커스터마이즈할 수도 있어요.

출처: 문서

본문

Select Evaluation Model

평가 모델 선택하기 (Select An Evaluation Model)

평가 모델을 구성하려면:

  1. Project Settings(프로젝트 설정) → Evaluation Model로 이동
  2. 드롭다운에서 Model Provider(모델 제공자) 선택
  3. 사용할 특정 Model 선택 (예: gpt-4o)
  4. Save(저장) 클릭

자격 증명이 구성된 제공자만 선택할 수 있어요. 제공자 구성 방법은 아래 섹션들을 참고하세요.

또는 Inherit from Organization 토글을 켜서 프로젝트별 구성 대신 조직 레벨에서 구성된 모델 자격 증명을 사용할 수 있어요.

OpenAI gpt-5 모델 패밀리. OpenAI는 호출을 처리하는 키의 조직이 검증(verified) 되어야 gpt-5(및 기타 게이트된 SKU)를 제공해요. gpt-5를 선택했는데 호출이 검증 오류를 반환하면:

  • BYO key — platform.openai.com의 Organization → General에서 자체 조직을 검증하세요.
  • Pooled (Confident 관리) key — 대신 gpt-5.4나 gpt-4.1 같은 게이트되지 않은 SKU를 선택하거나 지원팀에 문의하세요.

다른 Confident 기능(Classifiers, Error Analysis, Test Run summarizers, Auto-Annotation, Custom Reports)은 모두 기본적으로 gpt-5.4 / gpt-4.1을 사용하며, 명시적으로 gpt-5를 선택하지 않는 한 영향받지 않아요.

사용 가능한 제공자 (Available Providers)

구성할 수 있는 제공자는 세 가지 카테고리가 있어요. 어떤 제공자든 설정하려면 행 오른쪽의 세로 점 메뉴(⋮)를 클릭하고 API 키나 구성 정보를 입력하면 돼요.

Model Providers(모델 제공자) — API 키를 제공해 평가를 실행:

  • OpenAI
  • Anthropic
  • Gemini
  • X-AI
  • DeepSeek
  • Mistral
  • Perplexity
  • Hugging Face

Cloud Providers(클라우드 제공자) — 클라우드 인프라에 호스팅된 모델로 평가 실행:

  • Amazon Bedrock
  • Vertex AI

LLM Gateways(LLM 게이트웨이) — 태그 기반 라우팅 자격 증명을 관리하는 게이트웨이 연결:

  • Portkey
  • LiteLLM

더 알아보기 (Learn more)