EvaluateRagAnswerCorrectness 프로세서
EvaluateRagAnswerCorrectness 프로세서
Snowflake Openflow의 EvaluateRagAnswerCorrectness 프로세서에 대한 문서예요. RAG(검색 증강 생성) 맥락에서 생성된 답변의 정확도를 F1 점수, 코사인 유사도, 답변 정확도 같은 지표로 평가하는 프로세서예요.
출처: Snowflake 문서
본문
기능 — 일반 제공(Generally Available)
Openflow Snowflake 배포는 AWS, Azure, GCP 상용(Commercial) 리전의 모든 계정에서 사용할 수 있어요. Openflow BYOC 배포는 AWS 상용(Commercial) 리전의 모든 계정에서 사용할 수 있어요.
번들(Bundle)
com.snowflake.openflow.runtime | runtime-rag-evaluation-processors-nar
설명(Description)
RAG(검색 증강 생성) 맥락에서 생성된 답변의 정확도를 F1 점수, 코사인 유사도, 답변 정확도 같은 지표를 계산해 평가해요. 프로세서는 LLM(예: OpenAI의 GPT)을 사용해 생성된 답변을 정답(ground truth)과 대조해 평가해요.
태그(Tags)
ai, answer correctness, evaluation, llm, nlp, openai, openflow, rag
입력 요구사항(Input Requirement)
REQUIRED
민감 동적 속성 지원(Supports Sensitive Dynamic Properties)
false
속성(Properties)
| 속성(Property) | 설명(Description) |
|---|---|
| Cosine Similarity Weight | 답변 정확도를 계산할 때 코사인 유사도에 적용할 가중치예요(0.0 ~ 1.0). |
| Evaluation Results Record Path | 평가 결과를 기록할 RecordPath예요. |
| F1 Score Weight | 답변 정확도를 계산할 때 F1 점수에 적용할 가중치예요(0.0 ~ 1.0). |
| Generated Answer Record Path | 레코드에서 답변 필드의 경로예요. |
| Generated Answer Vector Record Path | 레코드에서 답변 벡터 필드의 경로예요. |
| Ground Truth Record Path | 레코드에서 정답 필드의 RecordPath예요. |
| Ground Truth Vector Record Path | 레코드에서 정답 벡터 필드의 경로예요. |
| LLM Provider Service | 평가 프롬프트를 LLM에 보내는 공급자 서비스예요. |
| Question Record Path | 레코드에서 질문 필드의 RecordPath예요. |
| Record Reader | FlowFile을 읽는 데 사용할 Record Reader예요. |
| Record Writer | 결과를 기록하는 데 사용할 Record Writer예요. |
관계(Relationships)
| 이름(Name) | 설명(Description) |
|---|---|
| failure | 처리할 수 없는 FlowFile은 이 관계로 라우팅돼요. |
| success | 성공적으로 처리된 FlowFile은 이 관계로 라우팅돼요. |
속성 기록(Writes attributes)
| 이름(Name) | 설명(Description) |
|---|---|
| average.f1Score | 모든 레코드에 대해 계산된 평균 F1 점수예요. |
| average.cosineSim | 정답과 답변 임베딩 간의 평균 코사인 유사도예요. |
| average.answerCorrectness | 모든 레코드에 대해 계산된 평균 답변 정확도 점수예요. |
| json.parse.failures | 발생한 JSON 파싱 실패 횟수예요. |
사용 사례(Use cases)
- 이 프로세서를 사용해 LLM이 생성한 답변의 품질을 정답과 비교해 평가하고, RAG 시스템의 성능을 모니터링하고 개선하는 데 사용할 수 있는 지표를 제공해요.