SnowflakeDetectDuplicate
SnowflakeDetectDuplicate
FlowFile의 해시(FlowFile 속성으로 제공)가 이미 Snowflake 테이블에 있는지 확인하고, 있으면 'duplicate', 없으면 'distinct', 오류 시 'failure'로 라우팅하는 프로세서예요.
출처: Snowflake 문서
본문
번들 (Bundle)
com.snowflake.openflow.runtime | runtime-snowflake-processors-nar
설명 (Description)
FlowFile의 해시(FlowFile 속성으로 제공)가 이미 Snowflake 테이블에 있는지 확인하고, 있으면 FlowFile을 'duplicate'로, 없으면 'distinct'로, 오류 시 'failure'로 라우팅합니다.
태그 (Tags)
database, detect, duplicates, hash, snowflake
입력 요구사항 (Input Requirement)
REQUIRED
민감 동적 속성 지원 (Supports Sensitive Dynamic Properties)
false
속성 (Properties)
| 속성 (Property) | 설명 (Description) |
|---|---|
| Content Hash | 사전 계산된 해시를 담고 있는 FlowFile 속성의 이름입니다. Expression Language를 지원합니다. |
| Document Source Identifier | 문서 소스 식별자(doc ID)를 지정합니다. Expression Language를 지원합니다. |
| Document Source Name | 문서 소스 시스템 이름을 지정합니다. Expression Language를 지원합니다. |
| Snowflake Connection Service | Snowflake에 대한 연결을 제공하는 DBCPService입니다. |
| Snowflake Table Name | 파일 해시를 저장하는 Snowflake 테이블 이름입니다. 테이블 이름은 대소문자를 구분하지 않습니다. 데이터베이스와 스키마는 Snowflake Connection Service에서 미리 구성되어야 합니다. |
관계 (Relationships)
| 이름 (Name) | 설명 (Description) |
|---|---|
| distinct | 기존 문서와 일치하지 않는 FlowFile이 여기로 라우팅됩니다(새 해시 삽입). |
| duplicate | 기존 문서와 일치하는(같은 해시의) FlowFile이 여기로 라우팅됩니다. |
| failure | 처리 중 오류나 예외를 만난 FlowFile이 여기로 라우팅됩니다. |
쓰는 속성 (Writes attributes)
| 이름 (Name) | 설명 (Description) |
|---|---|
| snowflake.detect.duplicate | FlowFile이 중복으로 감지되었는지 여부를 나타내는 'true' 또는 'false' 속성입니다. |