정확 일치

정확 일치 (Exact Match)

LLM 출력이 기대 출력과 문자 그대로 정확히 같은지 확인하고 싶을 때가 있죠. Exact Match는 그런 single-turn 메트릭으로, 다른 메트릭들과 달리 LLM을 사용하지 않고 LLM 애플리케이션의 출력이 기대 출력과 동일한지 확인해요.

출처: 문서

exact match 메트릭은 LLM 애플리케이션의 출력이 기대 출력과 동일한지 확인하는 single-turn 메트릭이에요. 다른 메트릭들과 달리 평가에 LLM을 사용하지 않아요.

exact match 메트릭은 문자열 수준의 동등성 검사를 수행하므로, 대소문자, 구두점, 공백 중 어떤 차이라도 메트릭을 실패시켜요.

exact match 메트릭을 평가하려면 테스트 케이스에 다음 파라미터를 제공해야 해요.

input (string, required)

LLM 애플리케이션에 제공한 입력.

actual_output (string, required)

LLM 애플리케이션이 생성한 최종 출력.

expected_output (string, required)

LLM 애플리케이션이 주어진 입력에 대해 생성해야 하는 기대 출력.

exact match 메트릭은 actual output을 expected output과 엄격한 동등성으로 비교해 점수를 계산하는 결정적 방법을 사용해요.

$$ \text{Exact Match} = \begin{cases} 1 & \text{if actual output = expected output} \ 0 & \text{otherwise} \end{cases} $$

최종 점수는 이진이에요. actual output이 expected output과 정확히 일치하거나, 아니면 그렇지 않거나 둘 중 하나죠.

Confident AI에서 exact match 메트릭을 실행하려면 single-turn metric collection에 추가하세요. 그러면 다음에 사용할 수 있어요.