ConsumeSnowflakeStream 프로세서

이 문서는 Snowflake OpenFlow의 ConsumeSnowflakeStream 프로세서에 대한 참조 문서예요. Snowflake 스트림에서 데이터를 가져와 지정한 Record Writer로 FlowFile에 기록해요.

출처: Snowflake 문서

본문

기능 — 일반 제공 (Generally Available)

Openflow Snowflake 배포는 AWS, Azure, GCP Commercial 리전의 모든 계정에서 사용할 수 있어요.

Openflow BYOC 배포는 AWS Commercial 리전의 모든 계정에서 사용할 수 있어요.

번들 (Bundle)

그룹	NAR
com.snowflake.openflow.runtime	runtime-snowflake-processors-nar

설명 (Description)

Snowflake 스트림에서 데이터를 가져와 FlowFile에 기록해요. 이 프로세서를 사용하기 전에 데이터베이스에 스트림이 생성되어 있어야 해요. 프로세서는 스트림을 소비하고 지정된 Record Writer로 레코드를 FlowFile에 기록해요. 프로세서는 또한 스트림 이름을 가진 속성을 FlowFile에 추가해요. 스트림이 stale(stale)이면 프로세서는 작동하지 않아요. 대신 오류 메시지를 기록하고 처리를 중지해요. Stale 스트림은 데이터베이스에서 다시 생성해야 해요. 데이터베이스에서 스트림이 다시 생성된 후 프로세서는 CDC 레코드를 계속 읽고 처리해요. Snowflake 스트림에 대한 자세한 내용은 snowflake 문서를 참고해요.

태그 (Tags)

connection, database, jdbc, openflow, snowflake, stream, table, view

입력 요구사항 (Input Requirement)

FORBIDDEN

민감한 동적 속성 지원 (Supports Sensitive Dynamic Properties)

아니요 (false)

속성 (Properties)

속성	설명
Max Chunk Size	단일 FlowFile에 기록할 레코드 수예요. 이 값은 약간 초과될 수 있어요.
Record Writer	CDC 레코드 직렬화에 사용할 Record Writer예요.
Snowflake Connection Service	Snowflake에 접근하기 위한 Database Connection Service예요.
Stream Name	데이터베이스의 스트림 이름이에요.

관계 (Relationships)

이름	설명
success	스트림 CDC 레코드가 있는 FlowFiles용이에요.

기록하는 속성 (Writes attributes)

이름	설명
snowflake.stream.name	Snowflake Stream의 이름이에요.

ConsumeSnowflakeStream 프로세서