배포 전 평가 컨트롤
배포 전 평가 컨트롤 (Pre-deployment Eval Controls)
자격을 갖춘 평가 테스트 실행이 있어야 배포를 허용하는 컨트롤이에요. 이 문서에서는 자격을 갖춘 평가 실행을 선택하는 방법, 필터 적용 방법, 그리고 예시 요구사항을 설명할게요.
출처: 문서
본문
배포 전 평가 컨트롤은 최근의 평가 테스트 실행이 있어야 배포를 허용해요. 조직이 기대하는 조건에서 AI 애플리케이션이 평가되었는지에 대한 증거를 릴리스 전에 요구할 때 사용해요.
배포 전 평가 컨트롤은 언제 사용하나요?
- 릴리스가 최근의 자격을 갖춘 평가 테스트 실행으로 뒷받침되어야 할 때.
- 승인된 모델, 프롬프트, 데이터셋, 하이퍼파라미터가 테스트되었는지 검증해야 할 때.
- 의도된 애플리케이션 설정에 평가 증거가 없으면 배포를 막아야 할 때.
게이팅 테스트 실행 선택
다음 두 가지 선택 방법 중 하나를 고르면 돼요:
최신 공식 실행 (Latest official run)
이 컨트롤은 프로젝트에서 official(공식) 로 표시된 가장 최근 테스트 실행을 선택해요. 팀이 릴리스 결정의 출처(single source of truth)로 특정 실행을 명시적으로 승격할 때 이 방법을 사용해요.
식별자와 기간 (Identifier and window)
이 컨트롤은 다음 조건을 모두 충족하는 가장 최근 완료 테스트 실행을 선택해요:
- 설정된 식별자(identifier) 와 일치하고,
- 7, 14, 30, 90일 중 하나의 이동 기간(rolling window) 안에 완료되었을 것.
안정적인 식별자가 릴리스 파이프라인이나 평가 스위트를 대표하고 결과가 최신 상태를 유지해야 할 때 이 방법을 사용해요.
필터 적용
어떤 테스트 실행이 자격을 갖추는지 정의하도록 하이퍼파라미터 필터를 포함한 필터를 추가할 수 있어요. 선택된 실행은 설정된 모든 필터와 일치해야 해요.
예를 들어, 필터를 사용해 게이팅 실행이 하이퍼파라미터에 담긴 특정 모델, 프롬프트 버전, 데이터셋, 애플리케이션 설정을 사용하도록 요구할 수 있어요.
식별자와 이동 기간에 의존하는 대신 게이팅을 위한 명시적 출처(single source of truth)를 원한다면 테스트 실행을 official(공식) 로 표시해요.
예시 요구사항
- 최신 공식 평가가 승인된 프로덕션 모델을 사용하도록 요구해요.
- 지난 7일 안에 완료된 릴리스 후보 평가를 요구해요.
- 선택된 실행이 승인된 데이터셋과 프롬프트 버전과 일치하도록 요구해요.