EvaluateRagRetrieval 프로세서
EvaluateRagRetrieval 프로세서
Snowflake Openflow의 EvaluateRagRetrieval 프로세서에 대한 문서예요. LLM을 심판(judge)으로 사용해 RAG 시스템의 검색 지표(Precision@N, Recall@N, FScore@N, MAP@N, MRR)를 계산하는 프로세서예요.
출처: Snowflake 문서
본문
기능 — 일반 제공(Generally Available)
Openflow Snowflake 배포는 AWS, Azure, GCP 상용(Commercial) 리전의 모든 계정에서 사용할 수 있어요. Openflow BYOC 배포는 AWS 상용(Commercial) 리전의 모든 계정에서 사용할 수 있어요.
번들(Bundle)
com.snowflake.openflow.runtime | runtime-rag-evaluation-processors-nar
설명(Description)
LLM을 심판으로 사용해 RAG 시스템의 검색 지표(Precision@N, Recall@N, FScore@N, MAP@N, MRR)를 계산해요. 각 레코드에 대해 Precision 및 Recall 프롬프트를 모두 사용해 응답을 평가하고, 지표를 FlowFile의 속성으로 추가해요.
태그(Tags)
evaluation, fscore, llm, metrics, mrr, openai, openflow, precision, rag, recall, retrieval
입력 요구사항(Input Requirement)
REQUIRED
민감 동적 속성 지원(Supports Sensitive Dynamic Properties)
false
속성(Properties)
| 속성(Property) | 설명(Description) |
|---|---|
| Context Identifier Record Path | 레코드에서 컨텍스트 ID 배열의 RecordPath예요. |
| Context Record Path | 레코드에서 컨텍스트 배열의 RecordPath예요. |
| Evaluation Results Record Path | 평가 결과를 기록할 RecordPath예요. |
| Ground Truth Record Path | 레코드에서 정답 필드의 RecordPath예요. |
| LLM Provider Service | 평가 프롬프트를 LLM에 보내는 공급자 서비스예요. |
| Question Record Path | 레코드에서 질문 필드의 RecordPath예요. |
| Record Reader | FlowFile을 읽는 데 사용할 Record Reader예요. |
| Record Writer | 결과를 기록하는 데 사용할 Record Writer예요. |
관계(Relationships)
| 이름(Name) | 설명(Description) |
|---|---|
| failure | 처리할 수 없는 FlowFile은 이 관계로 라우팅돼요. |
| success | 성공적으로 처리된 FlowFile은 이 관계로 라우팅돼요. |
속성 기록(Writes attributes)
| 이름(Name) | 설명(Description) |
|---|---|
| n | 쿼리당 평균 검색 문서 수예요. |
| precision.at.n | 모든 쿼리에 대한 N에서의 평균 정밀도(precision)예요. |
| recall.at.n | 모든 쿼리에 대한 N에서의 평균 재현율(recall)이에요. |
| fscore.at.n | 모든 쿼리에 대한 N에서의 평균 F-Score예요. |
| mrr | Mean Reciprocal Rank(평균 역순위)예요. |
| retrieval.eval.failures | 평가를 계산할 수 없는 레코드 수예요. |
| json.parse.failures | 발생한 JSON 파싱 실패 횟수예요. |