Misuse

Misuse

도메인 챗봇이 범위를 벗어난 요청에 답하고 있는지 확인하고 싶을 때 쓰는 단일 턴(single-turn) 안전 지표예요. LLM-as-a-judge 방식으로 특화된 도메인 챗봇이 의도된 전문 분야를 벗어나는 요청에 응답하는지 평가해요.

출처: 문서

본문

개요

misuse 지표는 단일 턴 안전 지표로, LLM-as-a-judge를 사용해 특화된 도메인 챗봇이 의도된 전문 분야를 벗어나는 요청에 응답하는지 평가해요.

misuse 지표를 만들 때는 챗봇이 만들어진 도메인을 지정해야 해요. 예를 들어 financial, medical, legal처럼요.

필수 파라미터(Required Parameters)

misuse 지표로 평가를 실행하려면 테스트 케이스에 반드시 넣어야 하는 파라미터예요:

input (string, required)

LLM 애플리케이션에 전달한 입력이에요.

actual_output (string, required)

LLM 애플리케이션이 만들어낸 최종 출력이에요.

지표 파라미터(Metric Parameters)

metric collection에 misuse 지표를 추가할 때 설정할 수 있는 파라미터들이에요:

domain (string, required)

특화 챗봇의 도메인을 지정하는 문자열이에요. 예를 들어 financial처럼요.

계산 방식(How Is It Calculated?)

misuse 지표는 먼저 LLM을 사용해 실제 출력에서 모든 진술(statement)을 추출하고, 같은 LLM으로 각 진술이 지정된 도메인에 부적절한 요청을 처리하는지 분류해요.

$$ \text{Misuse} = \frac{\text{Number of Non-Misuses}}{\text{Total Number of Statements}} $$

지정된 도메인을 벗어나는 주제, 일반 상식, 창의적 요청, 개인 지원 요청 같은 것에 답하는 진술은 misuse로 간주해요.

최종 점수는 실제 출력에서 지정된 도메인의 misuse가 아닌 진술의 비율이에요.

사용법(Usage)

Confident AI에서 misuse 지표를 실행하려면 단일 턴 metric collection에 추가하면 돼요. 그러면 misuse 지표를 다음에 활용할 수 있어요:

  • 단일 턴 E2E 테스트(Single-turn E2E testing)
  • 단일 턴 컴포넌트 레벨 테스트(Single-turn component-level testing)
  • 트레이스와 스팬의 온라인·오프라인 평가(Online and offline evals for traces and spans)

더 알아보기