역할 준수

역할 준수 (Role Adherence)

챗봇이 맡은 역할을 대화 내내 일관되게 유지하는지 확인하고 싶을 때가 있죠. Role Adherence는 그런 multi-turn 메트릭으로, LLM-as-a-judge를 사용해 챗봇이 대화 전반에 걸쳐 사전에 정해진 역할을 꾸준히 유지하는지 평가해요.

출처: 문서

본문

개요

role adherence 메트릭은 LLM-as-a-judge를 사용해, 챗봇이 대화 전반에 걸쳐 사전에 정해진 역할을 일관되게 유지하는지 평가하는 multi-turn 메트릭이에요.

필수 파라미터

role adherence 메트릭을 평가하려면 테스트 케이스에 다음 파라미터를 제공해야 해요.

chatbot_role (string, required)

챗봇이 대화 내내 준수해야 하는 역할.

turns (list of Turn, required)

사용자와 어시스턴트의 교환으로 이루어진 Turn 목록.

Turn의 파라미터:

role (user | assistant, required)

말하는 사람의 역할. user 또는 assistant 중 하나예요.

content (string, required)

해당 턴에서 role이 제공한 내용.

어떻게 계산되나요?

role adherence 메트릭은 각 assistant 턴을 순회하면서 LLM으로 해당 내용이 명시된 chatbot_role을 준수하는지 확인해요.

$$ \text{Role Adherence} = \frac{\text{Number of Assistant Turns that Adhered to Chatbot Role in Conversation}}{\text{Total Number of Assistant Turns in Conversation}} $$

최종 점수는 대화에서 명시된 역할을 준수한 어시스턴트 턴의 비율이에요.

사용 방법

Confident AI에서 role adherence 메트릭을 실행하려면 multi-turn metric collection에 추가하세요. 그러면 다음에 사용할 수 있어요.

  • Multi-turn E2E 테스트
  • trace와 span의 온라인 및 오프라인 eval

더 알아보기