EvaluateRagFaithfulness 프로세서
EvaluateRagFaithfulness 프로세서
Snowflake Openflow의 EvaluateRagFaithfulness 프로세서에 대한 문서예요. RAG(검색 증강 생성) 시스템에서 생성된 답변의 충실도(faithfulness)를 LLM으로 분석해 평가하는 프로세서예요.
출처: Snowflake 문서
본문
기능 — 일반 제공(Generally Available)
Openflow Snowflake 배포는 AWS, Azure, GCP 상용(Commercial) 리전의 모든 계정에서 사용할 수 있어요. Openflow BYOC 배포는 AWS 상용(Commercial) 리전의 모든 계정에서 사용할 수 있어요.
번들(Bundle)
com.snowflake.openflow.runtime | runtime-rag-evaluation-processors-nar
설명(Description)
RAG(검색 증강 생성) 시스템에서 생성된 답변의 충실도를 LLM(예: OpenAI의 GPT)으로 응답을 분석해 평가해요. 프로세서는 각 FlowFile 레코드에 충실도 지표와 상세 분석을 추가해 보강해요.
태그(Tags)
ai, evaluation, faithfulness, llm, nlp, openai, openflow, rag
입력 요구사항(Input Requirement)
REQUIRED
민감 동적 속성 지원(Supports Sensitive Dynamic Properties)
false
속성(Properties)
| 속성(Property) | 설명(Description) |
|---|---|
| Context Identifier Record Path | 레코드에서 컨텍스트 ID 배열의 RecordPath예요. |
| Context Record Path | 레코드에서 컨텍스트 배열의 RecordPath예요. |
| Evaluation Results Record Path | 평가 결과를 기록할 RecordPath예요. |
| Generated Answer Record Path | 레코드에서 답변 필드의 경로예요. |
| LLM Provider Service | 평가 프롬프트를 LLM에 보내는 공급자 서비스예요. |
| Question Record Path | 레코드에서 질문 필드의 RecordPath예요. |
| Record Reader | FlowFile을 읽는 데 사용할 Record Reader예요. |
| Record Writer | 결과를 기록하는 데 사용할 Record Writer예요. |
관계(Relationships)
| 이름(Name) | 설명(Description) |
|---|---|
| failure | 처리할 수 없는 FlowFile은 이 관계로 라우팅돼요. |
| success | 성공적으로 처리된 FlowFile은 이 관계로 라우팅돼요. |
속성 기록(Writes attributes)
| 이름(Name) | 설명(Description) |
|---|---|
| average.answer.faithfulness | 모든 레코드에 대해 계산된 평균 충실도 점수예요. |
| json.parse.failures | 발생한 JSON 파싱 실패 횟수예요. |
사용 사례(Use cases)
- 이 프로세서를 사용해 LLM이 생성한 답변의 충실도를 제공된 컨텍스트와 비교해 평가해요. RAG 시스템의 성능을 모니터링하고 개선하는 데 사용할 수 있는 지표를 제공해요.