Trace grading
Trace grading (트레이스 채점)
트레이스 채점은 에이전트의 트레이스(trace) — 의사 결정, 도구 호출, 추론 단계의 종단 간 로그 — 에 구조화된 점수나 레이블을 할당해서 정확성, 품질, 또는 기대 준수 여부를 평가하는 과정이에요. 이러한 annotation은 에이전트가 잘한 부분과 실수한 부분을 식별하는 데 도움을 주어, 오케스트레이션이나 동작을 개선할 수 있게 해줘요.
트레이스 eval은 그렇게 채점된 트레이스를 사용해 많은 예시에 걸쳐 에이전트 성능을 체계적으로 평가하며, 변경 사항을 벤치마킹하고 회귀를 식별하거나 개선 사항을 검증하는 데 도움을 줘요. 블랙박스 평가와 달리 트레이스 eval은 에이전트가 왜 성공하거나 실패하는지 더 잘 이해할 수 있게 하는 더 많은 데이터를 제공해요.
두 기능을 모두 사용해서 에이전트 그룹의 성능을 추적·분석·최적화하세요.
출처: 문서
본문
트레이스 시작하기
- 대시보드에서 로그(Logs) > 트레이스(Traces)로 이동하세요.
- 워크플로를 선택하세요. SDK 기반 앱의 트레이스와, 전환 기간 동안 기존 Agent Builder 워크플로의 트레이스를 볼 수 있어요.
- 트레이스를 선택해 워크플로를 검사하세요.
- 그래더(grader)를 만들고 실행해서 그래더 기준에 따라 에이전트 성능을 채점하세요.
트레이스 채점은 대규모로 오류를 식별하는 데 귀중한 도구이며, AI 애플리케이션에 복원력을 구축하는 데 중요해요. 권장 프로세스에 대해 자세히 알아보려면 cookbook을 참고하세요.
run으로 트레이스 평가
- 모두 채점(Grade all) 을 선택하세요. 그러면 평가 대시보드로 이동해요.
- 평가 대시보드에서 테스트 기준을 추가하고 편집하세요.
- run을 추가해 출력을 평가하세요. 모델, 날짜 범위, 도구 호출 같은 run 옵션을 구성해서 eval에 더 구체성을 더할 수 있어요.
eval을 어떻게 사용할 수 있는지 자세히 알아보려면 여기를 참고하세요.