UI를 통한 수동 점수(Manual Scores via UI)
UI를 통한 수동 점수(Manual Scores via UI)
UI를 통해 점수를 추가하는 것은 수동 평가 방법입니다. 이 문서는 UI에서 traces, sessions, observations에 평가 점수를 협업적으로 주석(annotate)하는 방법과, 실험에 점수를 추가하는 방법을 설명해요. 여러 팀원이 다양한 전문성을 바탕으로 수동 검토를 하면 정확도를 높일 수 있습니다.
출처: 문서
본문
UI를 통해 scores 를 추가하는 것은 수동 평가 방법 입니다. traces, sessions, observations에 평가 점수를 협업적으로 주석(annotate)하는 데 사용됩니다.
Annotation Queues 를 사용하면 더 큰 배치의 traces, sessions, observations를 검토하는 작업을 효율화할 수도 있습니다.
왜 UI로 수동 점수를 추가하나요?
- 여러 팀원이 데이터를 수동으로 검토하고 다양한 전문성으로 정확도를 높일 수 있습니다.
- 표준화된 점수 구성과 기준으로 서로 다른 워크플로우와 점수 유형에서 일관된 데이터 라벨링을 보장합니다.
- 인간 기준선(Human baseline)은 다른 점수의 벤치마킹과 프로덕션 로그에서 고품질 데이터셋을 큐레이션하기 위한 참조점을 제공합니다.
단계별 설정
점수 구성(Score Config) 만들기
UI에서 점수를 추가하려면 최소한 하나의 Score Config가 설정되어 있어야 합니다. 자세한 내용은 Score Config 생성·관리 방법 을 참고하세요.
점수 추가
Trace, Session 또는 Observation 상세 뷰에서 Annotate를 클릭해 주석 폼을 엽니다.
사용할 Score Config 선택
점수 값 설정
점수 코멘트 추가(선택)
점수 보기
새로 추가한 점수를 trace나 observation에서 보려면 trace 또는 observation 상세 뷰의 Scores 탭을 클릭하세요.
실험에 점수 추가
UI 또는 SDK 로 실험을 실행할 때, 실험 비교 뷰에서 결과를 직접 주석할 수 있습니다.
전제 조건:
비교 뷰는 각 아이템을 검토하는 동안 완전한 실험 컨텍스트(입력, 출력, 자동 점수)를 유지합니다. 주석 점수를 추가하면 요약 메트릭이 업데이트되어 실험 전체의 진행 상황을 추적할 수 있습니다.