주제 준수

주제 준수 (Topic Adherence)

챗봇이 다루기로 한 주제 안에서만 질문에 답하는지 확인하고 싶을 때가 있죠. Topic Adherence는 그런 multi-turn 메트릭으로, LLM-as-a-judge를 사용해 챗봇이 다루기로 한 주제 범위 안의 질문에만 답하는지 평가해요.

출처: 문서

본문

개요

topic adherence 메트릭은 LLM-as-a-judge를 사용해, 챗봇이 다루기로 한 주제 범위 안의 질문에만 답하는지 평가하는 multi-turn 메트릭이에요.

topic adherence 메트릭은 메트릭을 만들 때 챗봇이 답해도 되는 주제 목록을 지정해야 해요.

필수 파라미터

topic adherence 메트릭을 평가하려면 테스트 케이스에 다음 파라미터를 제공해야 해요.

turns (list of Turn, required)

사용자와 어시스턴트의 교환으로 이루어진 Turn 목록.

Turn의 파라미터:

role (user | assistant, required)

말하는 사람의 역할. user 또는 assistant 중 하나예요.

content (string, required)

해당 턴에서 role이 제공한 내용.

메트릭 파라미터

topic adherence 메트릭을 metric collection에 추가할 때 구성할 수 있는 파라미터예요.

relevant_topics (list of strings, required)

LLM 에이전트가 답할 수 있는 주제를 정의하는 문자열 목록. 예: financial.

어떻게 계산되나요?

topic adherence 메트릭은 먼저 대화에서 질문-답변 쌍을 추출하고, LLM으로 각 쌍을 내가 제공한 관련 주제에 대해 분류해요.

$$ \text{Topic Adherence} = \frac{\text{Number of True Positives and True Negatives}}{\text{Total Number of QA Pairs}} $$

True positive — 질문이 관련 있고 챗봇이 올바르게 답한 경우

True negative — 질문이 관련 없고 챗봇이 올바르게 답변을 거절한 경우

False positive — 질문이 관련 없는데도 챗봇이 답해버린 경우

False negative — 질문이 관련 있는데 챗봇이 거절하거나 무관하게 답한 경우

최종 점수는 대화에서 챗봇이 올바르게 처리한 질문-답변 쌍의 비율이에요.

사용 방법

Confident AI에서 topic adherence 메트릭을 실행하려면 multi-turn metric collection에 추가하세요. 그러면 다음에 사용할 수 있어요.

  • Multi-turn E2E 테스트
  • trace와 span의 온라인 및 오프라인 eval

더 알아보기