RAGAS Available Metrics — 검색·생성 지표 목록
RAGAS Available Metrics — 검색·생성 지표 목록
RAGAS(Retrieval Augmented Generation Assessment)는 RAG 파이프라인을 참조 없이(reference-free) 평가하는 프레임워크예요. 리트리버와 생성기를 따로 측정하는 지표 세트를 제공해요.
리트리버 지표
- Context Precision: 검색된 컨텍스트가 질문에 얼마나 관련 있는지. (검색 품질)
- Context Recall: 질문에 답하는 데 필요한 모든 정보를 리트리버가 가져왔는지. (놓침 유무)
생성기(LLM) 지표
- Faithfulness: 답변이 검색된 컨텍스트에 기반해 환각 없는지의 사실적 일관성.
- Answer Relevancy: 답변이 질문과 얼마나 관련 있는지.
왜 'reference-free'인가요
일일이 사람이 라벨을 붙이는 ground truth 없이도 LLM 기반으로 점수를 매겨 평가 사이클을 빠르게 돌릴 수 있어요. 평가 LLM이 컨텍스트·질문·답변을 보고 판정하죠.
실행
from ragas.metrics import context_precision, faithfulness, answer_relevancy 로 지표를 가져오고, ragas.evaluate(dataset, metrics=[...]) 로 평가해요. 결과는 각 지표 점수로 나와요.