목표 정확도

목표 정확도 (Goal Accuracy)

LLM 에이전트가 사용자가 원한 목표까지 제대로 계획하고 실행했는지 궁금할 때가 있죠. Goal Accuracy는 그런 multi-turn 메트릭으로, LLM-as-a-judge를 사용해 에이전트가 대화 전반에 걸쳐 사용자의 목표에 도달했는지 평가해요. 도달 여부와 함께 그 뒤에 있었던 계획의 품질까지 함께 봐요.

출처: 문서

본문

개요

goal accuracy 메트릭은 LLM-as-a-judge를 사용해, LLM 에이전트가 대화 전반에 걸쳐 사용자가 원한 목표까지 계획하고 실행했는지 평가하는 multi-turn 메트릭이에요.

필수 파라미터

goal accuracy 메트릭을 평가하려면 테스트 케이스에 다음 파라미터를 제공해야 해요.

turns (list of Turn, required)

사용자와 어시스턴트의 교환으로 이루어진 Turn 목록.

Turn의 파라미터:

role (user | assistant, required)

말하는 사람의 역할. user 또는 assistant 중 하나예요.

content (string, required)

해당 턴에서 role이 제공한 내용.

어떻게 계산되나요?

goal accuracy 메트릭은 먼저 각 사용자-어시스턴트 상호작용의 목표와 에이전트가 취한 단계를 추출하고, LLM으로 각 목표-단계 쌍이 목표에 도달했는지와 그 뒤에 있는 계획의 품질을 채점해요.

$$ \text{Goal Accuracy} = \frac{\text{Goal Evaluation Score} + \text{Plan Evaluation Score}}{2} $$

최종 점수는 대화 전반의 goal evaluation score와 plan evaluation score의 평균이에요.

사용 방법

Confident AI에서 goal accuracy 메트릭을 실행하려면 multi-turn metric collection에 추가하세요. 그러면 다음에 사용할 수 있어요.

  • Multi-turn E2E 테스트
  • trace와 span의 온라인 및 오프라인 eval

더 알아보기