Hallucination

Hallucination

LLM이 거짓 정보를 지어내고 있지는 않은지 확인하고 싶을 때 쓰는 단일 턴(single-turn) 안전 지표예요. LLM-as-a-judge 방식으로 실제 출력이 주어진 컨텍스트와 모순되는 부분이 있는지 판별해요. 출력이 사실에 기반하고 거짓되거나 환각된 정보가 없는지를 평가하죠.

출처: 문서

본문

개요

hallucination 지표는 단일 턴 안전 지표로, LLM-as-a-judge를 사용해 LLM의 출력이 사실에 기반하고 거짓되거나 환각(hallucinated)된 정보가 없는지 판별해요.

hallucination 지표는 평가를 수행하려면 테스트 케이스에 실제 출력(actual output)과 컨텍스트(context)가 필요해요.

필수 파라미터(Required Parameters)

hallucination 지표로 평가를 실행하려면 테스트 케이스에 반드시 넣어야 하는 파라미터예요:

input (string, required)

LLM 애플리케이션에 전달한 입력이에요.

actual_output (string, required)

LLM 애플리케이션이 만들어낸 최종 출력이에요.

context (list of string, required)

입력에 답하는 데 사용할 수 있는 컨텍스트를 담은 문자열 목록이에요. 보통 문서 문자열들이에요.

계산 방식(How Is It Calculated?)

hallucination 지표는 LLM을 사용해 실제 출력과 제공된 컨텍스트 사이의 모순을 찾아내는데, 이때 컨텍스트를 ground truth로 취급해요.

$$ \text{Hallucination} = \frac{\text{Number of Contradicted Contexts}}{\text{Number of Contexts}} $$

최종 점수는 실제 출력에서 발견된, 컨텍스트와 모순되는 항목의 비율이에요.

사용법(Usage)

Confident AI에서 hallucination 지표를 실행하려면 단일 턴 metric collection에 추가하면 돼요. 그러면 hallucination 지표를 다음에 활용할 수 있어요:

  • 단일 턴 E2E 테스트(Single-turn E2E testing)
  • 단일 턴 컴포넌트 레벨 테스트(Single-turn component-level testing)
  • 트레이스와 스팬의 온라인·오프라인 평가(Online and offline evals for traces and spans)

더 알아보기