Prompt Alignment

Prompt Alignment

LLM 출력이 프롬프트의 지시를 잘 따르는지 확인하고 싶을 때 쓰는 단일 턴(single-turn) 지표예요. LLM-as-a-judge 방식으로 LLM 애플리케이션의 출력이 프롬프트 템플릿에 적어 둔 지시를 따르는지 평가해요.

출처: 문서

본문

개요

prompt alignment 지표는 단일 턴 지표로, LLM-as-a-judge를 사용해 LLM 애플리케이션의 출력이 프롬프트 템플릿에 적어 둔 지시를 따르는지 평가해요.

prompt alignment 지표를 만들 때는 프롬프트 템플릿에서 가져온 지시 목록을 제공해야 해요.

필수 파라미터(Required Parameters)

prompt alignment 지표로 평가를 실행하려면 테스트 케이스에 반드시 넣어야 하는 파라미터예요:

input (string, required)

LLM 애플리케이션에 전달한 입력이에요.

actual_output (string, required)

LLM 애플리케이션이 만들어낸 최종 출력이에요.

지표 파라미터(Metric Parameters)

metric collection에 prompt alignment 지표를 추가할 때 설정할 수 있는 파라미터들이에요:

prompt_instructions (list of strings, required)

프롬프트 템플릿에서 지키길 바라는 지시를 지정하는 문자열 목록이에요. 예를 들어 Reply in all uppercase처럼요.

계산 방식(How Is It Calculated?)

prompt alignment 지표는 사용자가 제공한 각 프롬프트 지시를 하나씩 돌아가며, LLM을 사용해 실제 출력이 그 지시를 따르는지 분류해요. 이때 입력을 추가 컨텍스트로 사용해요.

$$ \text{Prompt Alignment} = \frac{\text{Number of Instructions Followed}}{\text{Total Number of Instructions}} $$

최종 점수는 실제 출력이 따른 프롬프트 지시의 비율이에요.

사용법(Usage)

Confident AI에서 prompt alignment 지표를 실행하려면 단일 턴 metric collection에 추가하면 돼요. 그러면 prompt alignment 지표를 다음에 활용할 수 있어요:

  • 단일 턴 E2E 테스트(Single-turn E2E testing)
  • 단일 턴 컴포넌트 레벨 테스트(Single-turn component-level testing)
  • 트레이스와 스팬의 온라인·오프라인 평가(Online and offline evals for traces and spans)

더 알아보기