Image Reference

이미지가 텍스트에서 정확하게 언급·설명되는지 확인하고 싶을 때 쓰는 단일 턴(single-turn) 이미지 지표예요. MLLM-as-a-judge 방식으로 LLM 애플리케이션 출력 속 각 이미지가 옆에 놓인 텍스트에 정확히 언급되고 설명되는지 평가해요.

출처: 문서

본문

image reference 지표는 단일 턴 이미지 지표로, MLLM-as-a-judge를 사용해 LLM 애플리케이션 출력 속 각 이미지가 옆에 놓인 텍스트에 정확하게 언급되고 설명되는지 평가해요.

image reference 지표는 실제 출력 속 모든 이미지를 각각 따로 점수 매겨요. 그래서 테스트 케이스의 실제 출력은 텍스트와 MLLMImage들을 나타난 순서대로 번갈아 배치해야 해요.

image reference 지표로 평가를 실행하려면 테스트 케이스에 반드시 넣어야 하는 파라미터예요:

input (list of string | MLLMImage, required)

LLM 애플리케이션에 전달한 입력이에요.

actual_output (list of string | MLLMImage, required)

LLM 애플리케이션이 만들어낸 최종 출력으로, 텍스트와 이미지가 순서대로 반환된 결과예요.

metric collection에 image reference 지표를 추가할 때 설정할 수 있는 파라미터들이에요:

max_context_size (number)

이미지 위·아래에서 고려할 텍스트의 최대 문자 수를 지정하는 정수예요. 예를 들어 100처럼요.

image reference 지표는 MLLM을 사용해 실제 출력 속 각 이미지를 바로 위·아래 텍스트와 비교해 점수를 매긴 뒤, 모든 이미지의 점수를 평균 내요.

$$ \text{Image Reference} = \frac{\sum_{i=1}^{n} R_i}{n} $$

Rᵢ - 위 텍스트, 아래 텍스트, 이미지 자체를 보고 판단한 i번째 이미지의 reference 점수예요.

n - 실제 출력에 포함된 이미지 수예요.

최종 점수는 실제 출력에서 발견된 이미지들의 평균 reference 점수예요.

Confident AI에서 image reference 지표를 실행하려면 단일 턴 metric collection에 추가하면 돼요. 그러면 image reference 지표를 다음에 활용할 수 있어요: