PublishChangeDataSnowpipeStreaming

Newline Delimited JSON 형식의 변경 데이터 레코드를 Snowpipe Streaming High Availability를 사용해 Snowflake Database Pipes로 게시하는 프로세서예요.

출처: Snowflake 문서 — PublishChangeDataSnowpipeStreaming

본문

번들 (Bundle)

com.snowflake.openflow.runtime | runtime-snowpipe-streaming-2-processors-nar

설명

Newline Delimited JSON으로 형식화된 변경 데이터 레코드를 Snowpipe Streaming High Availability를 사용해 Snowflake Database Pipes로 게시해요. 이 프로세서는 Concurrency Group 직렬화를 지원해서 같은 그룹을 공유하는 FlowFile이 채널에 대해 동시에 처리되지 않아요. 데이터 전송 후에는 (Offset Tracking Resolution과 Offset Tracking Timeout에 따라) 스트리밍 채널이 커밋된 offset 토큰을 보고할 때까지 기다린 다음 FlowFile을 success, invalid, 또는 failure로 라우팅해요. 들어오는 연결에 FlowFile이 없어도 실행되어 대기 중인 배치가 폴링을 끝낼 수 있어요.

입력 요구 사항 (Input Requirement)

REQUIRED — 입력 FlowFile이 필요해요.

민감한 동적 속성 지원 (Supports Sensitive Dynamic Properties)

false — 지원하지 않아요.

속성 (Properties)

속성	설명
Account	`[organization-name]-[account-name]` 형식으로 된 조직 이름과 계정 이름이 포함된 Snowflake Account Identifier예요.
Authentication Strategy	Snowflake 연결을 인증하기 위한 전략이에요.
Channel Group	파티셔닝으로 고유한 Snowpipe Streaming Channels를 관리하기 위한 그룹이에요.
Channel Insert Timeout	레코드를 삽입 재시도하는 최대 시간으로, 상한은 5분이에요.
Concurrency Group	구성된 값 또는 표현식에 따라 직렬화된 claim으로 구성된 채널에 대한 접근을 제어해요.
Database	처리된 레코드의 Snowflake Database 목적지예요.
Destination Type	파생 기본 파이프를 지원하는 처리된 레코드의 Snowflake 목적지 객체예요.
Offset Token End Expression	FlowFile에 대한 가장 높은 offset 토큰을 단조 증가 숫자로 생성하는 Expression Language 정의예요.
Offset Token Record Pointer	마지막 커밋된 offset 토큰이 시작과 끝 경계 사이에 있을 때 각 레코드의 offset 토큰을 가리키는 JSON Pointer예요.
Offset Token Start Expression	FlowFile에 대한 가장 낮은 offset 토큰을 단조 증가 숫자로 생성하는 Expression Language 정의예요.
Offset Tracking Resolution	커밋된 offset 토큰을 입력 FlowFile 및 레코드에 대해 평가하는 해상도 수준이에요. Disabled: FlowFile이나 레코드 간 추적 없이 불투명한 offset 토큰 처리를 해요. FlowFile: 단조 증가 offset 토큰으로 각 FlowFile을 추적해요. Record: 단조 증가 offset 토큰으로 각 FlowFile의 각 레코드를 추적해요.
Offset Tracking Timeout	`failure`로 라우팅하기 전에 채널 상태가 커밋된 offset 토큰을 확인하도록 기다리는 최대 시간이에요.
Pipe	처리된 레코드의 Snowflake Pipe 목적지예요.
Private Key Service	연결 인증을 위한 RSA Private Key Service예요.
Role	연결 인증 시 사용자가 맡을 Snowflake Role이에요.
Schema	처리된 레코드의 Snowflake Schema 목적지예요.
Table	처리된 레코드의 Snowflake Table 목적지예요.
Transfer Strategy	Snowpipe Streaming으로 레코드를 전송하는 전략이에요. Managed: 압축되지 않은 크기에 따라 레코드를 행 배치 또는 파일 조각으로 전송해요. Rows: HTTP로 행 배치를 Snowpipe Streaming에 전송해요. File Fragments: HTTP로 파일 조각을 클라우드 스토리지 서비스에 전송해요.
User	연결 인증을 위한 Snowflake User예요.
Web Client Service Provider	HTTP 요청/응답 처리를 지원하는 Web Client Service Provider예요.

관계 (Relationships)

이름	설명
`empty`	내용이 비어 있어 Snowflake에 보내지지 않은 FlowFile이 이 관계로 이동해요.
`failure`	Snowflake에 업로드에 실패한 FlowFile이 이 관계로 이동해요.
`invalid`	Snowflake가 하나 이상의 잘못된 행을 포함해 부분 전송이 발생한 것으로 식별한 FlowFile이 이 관계로 이동해요.
`success`	Snowflake에 성공적으로 업로드된 FlowFile이 이 관계로 이동해요.

PublishChangeDataSnowpipeStreaming