지식 보존

지식 보존 (Knowledge Retention)

대화형 챗봇이 사용자가 나중에 알려준 중요한 정보를 끝까지 기억하는지 확인하고 싶을 때가 있죠. Knowledge Retention은 그런 multi-turn 메트릭으로, LLM-as-a-judge를 사용해 챗봇이 대화 전반에 걸쳐 사용자가 제공한 중요한 정보를 기억하는지 평가해요.

출처: 문서

본문

개요

knowledge retention 메트릭은 LLM-as-a-judge를 사용해, 챗봇이 대화 전반에 걸쳐 사용자가 제공한 중요한 정보를 기억하는지 평가하는 multi-turn 메트릭이에요.

필수 파라미터

knowledge retention 메트릭을 평가하려면 테스트 케이스에 다음 파라미터를 제공해야 해요.

turns (list of Turn, required)

사용자와 어시스턴트의 교환으로 이루어진 Turn 목록.

Turn의 파라미터:

role (user | assistant, required)

말하는 사람의 역할. user 또는 assistant 중 하나예요.

content (string, required)

해당 턴에서 role이 제공한 내용.

어떻게 계산되나요?

knowledge retention 메트릭은 먼저 LLM으로 모든 user 턴의 content에서 정보를 추출하고, 같은 LLM으로 어떤 assistant 턴이 이 정보를 제대로 회상하지 못하는 내용을 담고 있는지 확인해요.

$$ \text{Knowledge Retention} = \frac{\text{Number of Assistant Turns without Knowledge Attritions}}{\text{Total Number of Assistant Turns}} $$

최종 점수는 대화에서 지식 저하(knowledge attrition)가 없는 어시스턴트 턴의 비율이에요.

사용 방법

Confident AI에서 knowledge retention 메트릭을 실행하려면 multi-turn metric collection에 추가하세요. 그러면 다음에 사용할 수 있어요.

  • Multi-turn E2E 테스트
  • trace와 span의 온라인 및 오프라인 eval

더 알아보기