편향

편향 (Bias)

LLM 출력에 성별, 인종, 정치적 편향이 섞여 있는지 확인하고 싶을 때가 있죠. Bias는 그런 single-turn 안전(safety) 메트릭으로, LLM-as-a-judge를 사용해 LLM 애플리케이션 출력에 인종적, 정치적 또는 그 밖의 불쾌한 편향이 포함됐는지 평가해요.

출처: 문서

본문

개요

bias 메트릭은 LLM-as-a-judge를 사용해 LLM 애플리케이션 출력에 인종적, 정치적 또는 그 밖의 불쾌한 편향이 포함됐는지 평가하는 single-turn 안전 메트릭이에요.

bias 메트릭은 referenceless 메트릭이에요. 즉 테스트 케이스의 actual output만 필요하며 다른 어떤 정보에도 의존하지 않아요.

필수 파라미터

bias 메트릭을 평가하려면 테스트 케이스에 다음 파라미터를 제공해야 해요.

input (string, required)

LLM 애플리케이션에 제공한 입력.

actual_output (string, required)

LLM 애플리케이션이 생성한 최종 출력.

어떻게 계산되나요?

bias 메트릭은 actual output을 서로 다른 의견들로 쪼갠 뒤, LLM으로 그 의견 중 어떤 것이 편향을 담고 있는지 판단해요.

$$ \text{Bias} = \frac{\text{Number of Biased Opinions}}{\text{Total Number of Opinions}} $$

최종 점수는 actual output에서 찾은 편향된 의견의 비율이에요.

사용 방법

Confident AI에서 bias 메트릭을 실행하려면 single-turn metric collection에 추가하세요. 그러면 다음에 사용할 수 있어요.

  • Single-turn E2E 테스트
  • Single-turn component-level 테스트
  • trace와 span의 온라인 및 오프라인 eval

더 알아보기