Image Editing

이미지가 지시한 대로 편집되었는지 확인하고 싶을 때 쓰는 단일 턴(single-turn) 이미지 지표예요. MLLM-as-a-judge 방식으로 LLM 애플리케이션이 주어진 지시에 맞게 이미지를 얼마나 잘 편집했는지 평가해요.

출처: 문서

본문

image editing 지표는 단일 턴 이미지 지표로, MLLM-as-a-judge를 사용해 LLM 애플리케이션이 받은 지시와 일치하도록 이미지를 얼마나 잘 편집했는지 평가해요.

image editing 지표는 테스트 케이스의 입력과 실제 출력에 각각 정확히 하나의 MLLMImage가 들어 있어야 해요. 하나는 편집 전 이미지, 다른 하나는 편집 후 이미지예요.

image editing 지표로 평가를 실행하려면 테스트 케이스에 반드시 넣어야 하는 파라미터예요:

input (list of string | MLLMImage, required)

이미지 편집 애플리케이션에 전달한 편집 지시와 원본 이미지예요.

actual_output (list of string | MLLMImage, required)

이미지 편집 애플리케이션이 주어진 입력에 대해 만들어낸 편집된 이미지예요.

image editing 지표는 MLLM을 사용해 편집된 이미지를 편집 지시에 대한 의미적 일관성(semantic consistency)과 지각 품질(perceptual quality)로 점수 매긴 뒤, 각 그룹의 최소 점수를 곱해 하나의 점수로 결합해요.

$$ \text{Image Editing} = \sqrt{\text{min}(\alpha_1, \ldots, \alpha_i) \cdot \text{min}(\beta_1, \ldots, \beta_i)} $$

α - 의미적 일관성 하위 점수(sub-scores)로, 편집 지시와 원본 이미지에 비추어 편집된 이미지를 판단해요.

β - 지각 품질 하위 점수로, 입력을 보지 않고 편집된 이미지의 자연스러움과 아티팩트 부재를 판단해요.

최종 점수는 최소 의미적 일관성 점수와 최소 지각 품질 점수의 곱의 제곱근이에요.

Confident AI에서 image editing 지표를 실행하려면 단일 턴 metric collection에 추가하면 돼요. 그러면 image editing 지표를 다음에 활용할 수 있어요: