Evals API — 프로그래밍 방식으로 평가 구성하기
Evals API
Evals는 대시보드 UI뿐 아니라 API로 프로그래밍 방식으로도 구성할 수 있어요. 자동화된 CI/CD 파이프라인에 평가를 넣고 싶다면 API를 쓰는 게 자연스러워요.
구성 요소
- 터스크 태스크 정의: 모델이 수행할 태스크 설명
- 테스트 케이스: 입력 데이터와 기대 기준
- 그레이더(grader): 출력이 기준에 맞는지 판정
이점
- 데이터셋을 코드로 관리해 재현 가능해요.
- 배포 전 자동 게이트로 회귀를 잡아요.
- 여러 모델·프롬프트를 같은 테스트로 비교해요.
흐름 요약
Eval 정의 → 테스트 입력 실행 → 결과 분석 → 프롬프트 개선 → 재실행
반복할수록 앱의 기준이 명확해지고, '새 모델로 바꿔도 기대 성능이 유지되는지'를 수치로 확신할 수 있어요.