턴 관련성

턴 관련성 (Turn Relevancy)

대화형 챗봇의 응답이 각 턴에서 사용자 입력과 관련 있는지 확인하고 싶을 때가 있죠. Turn Relevancy는 그런 multi-turn 메트릭으로, LLM-as-a-judge를 사용해 대화의 각 턴에서 챗봇 응답이 대응하는 사용자 입력과 관련 있는지 평가해요.

출처: 문서

본문

개요

turn relevancy 메트릭은 LLM-as-a-judge를 사용해, 대화의 각 턴에서 챗봇 응답이 대응하는 사용자 입력과 관련 있는지 평가하는 multi-turn 메트릭이에요.

필수 파라미터

turn relevancy 메트릭을 평가하려면 테스트 케이스에 다음 파라미터를 제공해야 해요.

turns (list of Turn, required)

사용자와 어시스턴트의 교환으로 이루어진 Turn 목록.

Turn의 파라미터:

role (user | assistant, required)

말하는 사람의 역할. user 또는 assistant 중 하나예요.

content (string, required)

해당 턴에서 role이 제공한 내용.

어떻게 계산되나요?

turn relevancy 메트릭은 모든 턴을 순회해 assistant 턴을 찾고, LLM으로 해당 턴의 content가 이전 사용자 턴의 content와 관련 있는지 확인해요.

$$ \text{Turn Relevancy} = \frac{\text{Number of Assistant Turns with Relevant Assistant Content}}{\text{Total Number of Assistant Turns}} $$

최종 점수는 대화에서 관련 있는 출력을 제공한 어시스턴트 턴의 비율이에요.

사용 방법

Confident AI에서 turn relevancy 메트릭을 실행하려면 multi-turn metric collection에 추가하세요. 그러면 다음에 사용할 수 있어요.

  • Multi-turn E2E 테스트
  • trace와 span의 온라인 및 오프라인 eval

더 알아보기