RAGAS Metrics 안내 — 지표가 무엇을 재는가
RAGAS Metrics 안내 — 지표가 무엇을 재는가
RAGAS의 Metrics 안내는 각 지표가 기술적으로 무엇을 측정하고 어떤 입력을 요구하는지 설명해요. 어떤 지표를 조합할지 정하는 기준을 잡는 데 도움돼요.
지표 요구 조건
answer_relevancy,faithfulness는 질문·답변을 요구해요.context_precision,context_recall은 질문·컨텍스트(및 필요 시 ground truth)를 요구해요.- 지표마다 필요한 열(column)이 다르므로, 평가 데이터셋을 그에 맞게 준비해야 해요.
지표 조합의 관점
평가는 단일 숫자가 아니라 검색과 생성 두 축을 함께 봐야 해요.
- 검색만 좋고 생성이 엉터리면 →
faithfulness(환각)가 낮게 나와요. - 검색이 못 잡아오면 →
context_precision/context_recall이 낮아요. - 두 축을 나눠 보면 "리트리버를 고칠지, 프롬프트를 고칠지" 판단이 서요.
평가 데이터셋
테스트 셋은 실제 유스케이스를 잘 반영해야 해요. Question/Context/GroundTruth 세 쌍으로 구성하고, 실제 배포 쿼리와 비슷한 샘플을 쓰는 게 좋아요.