Toxicity

Toxicity

LLM 출력에 유해한(독성) 내용이 담겨 있는지 확인하고 싶을 때 쓰는 단일 턴(single-turn) 안전 지표예요. LLM-as-a-judge 방식으로 LLM 애플리케이션의 출력에 독성(유해) 진술이 포함되어 있는지 평가해요.

출처: 문서

본문

개요

toxicity 지표는 단일 턴 안전 지표로, LLM-as-a-judge를 사용해 LLM 애플리케이션의 출력에 독성(유해) 진술이 포함되어 있는지 평가해요.

toxicity 지표는 referenceless 지표예요. 즉 테스트 케이스의 실제 출력만 필요하고 다른 정보에는 의존하지 않아요.

필수 파라미터(Required Parameters)

toxicity 지표로 평가를 실행하려면 테스트 케이스에 반드시 넣어야 하는 파라미터예요:

input (string, required)

LLM 애플리케이션에 전달한 입력이에요.

actual_output (string, required)

LLM 애플리케이션이 만들어낸 최종 출력이에요.

계산 방식(How Is It Calculated?)

toxicity 지표는 LLM을 사용해 실제 출력에서 독립적인 의견(opinion)들을 추출한 뒤, 같은 LLM으로 그 의견 중 몇 개가 독성 내용을 담고 있는지 세요.

$$ \text{Toxicity} = \frac{\text{Number of Toxic Opinions}}{\text{Total Number of Opinions}} $$

최종 점수는 실제 출력에서 발견된 편향된 의견의 비율이에요.

사용법(Usage)

Confident AI에서 toxicity 지표를 실행하려면 단일 턴 metric collection에 추가하면 돼요. 그러면 toxicity 지표를 다음에 활용할 수 있어요:

  • 단일 턴 E2E 테스트(Single-turn E2E testing)
  • 단일 턴 컴포넌트 레벨 테스트(Single-turn component-level testing)
  • 트레이스와 스팬의 온라인·오프라인 평가(Online and offline evals for traces and spans)

더 알아보기