EnrichCdcStream 프로세서

Snowflake Openflow의 EnrichCdcStream 프로세서에 대한 문서예요. CaptureChangePostgreSQL 등에서 온 FlowFile에 어떤 Journal Table에 기록할지와 관련 스키마 정보를 더해 보강하는 프로세서예요.

출처: Snowflake 문서

본문

기능 — 일반 제공(Generally Available)

Openflow Snowflake 배포는 AWS, Azure, GCP 상용(Commercial) 리전의 모든 계정에서 사용할 수 있어요. Openflow BYOC 배포는 AWS 상용(Commercial) 리전의 모든 계정에서 사용할 수 있어요.

번들(Bundle)

com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar

설명(Description)

CaptureChangePostgreSQL 등에서 온 입력 FlowFile을, 어떤 Journal Table에 기록할지와 관련 스키마 정보로 보강해요. 이 프로세서는 각 FlowFile에 올바른 Journal Table이 사용되도록 처리 중인 각 테이블의 스키마 버전을 관리해요.

태그(Tags)

(태그 없음)

입력 요구사항(Input Requirement)

REQUIRED

민감 동적 속성 지원(Supports Sensitive Dynamic Properties)

false

속성(Properties)

속성(Property)	설명(Description)
CDC Schema Registry	CDC 데이터의 스키마를 관리하는 데 사용할 CDC Schema Registry를 지정해요.
Record Reader	입력 데이터를 읽는 데 사용할 Record Reader를 지정해요.
Record Writer	출력 데이터를 기록하는 데 사용할 Record Writer를 지정해요.
Table State Service	복제된 테이블의 상태를 보관해요.

상태 관리(State management)

범위(Scopes)	설명(Description)
CLUSTER	처리 중인 각 테이블의 현재 journal table 버전을 추적해요.

관계(Relationships)

이름(Name)	설명(Description)
failure	어떤 FlowFile이든 읽을 수 없으면 이 관계로 라우팅돼요.
schema update	들어오는 Record를 처리하기 위해 스키마 업데이트가 필요하면 FlowFile이 이 관계로 라우팅돼요. FlowFile에는 필요한 변경 사항을 나타내는 스키마 정보가 포함돼요.
skipped ddl event	대상 테이블의 스키마 변경을 초래하지 않는 DDL/Schema 변경 이벤트에 이 관계를 사용해요.
success	Snowflake 테이블에 삽입할 행이 이 관계로 라우팅돼요.
table not in state	FlowFile이 복제된 테이블 상태에 존재하지 않는 테이블을 참조할 때 사용해요. 아마도 복제에서 제거된 후일 거예요.

속성 기록(Writes attributes)

이름(Name)	설명(Description)
table.schema.generation	증분 처리를 위한 journal table의 인덱스예요.
table.schema.initial	journal table의 초기 세대를 표시해요.
destination.table.schema	대상 테이블의 업데이트된 스키마예요. 이 속성은 DDL 이벤트에서만 기록돼요.

함께 보기(See also)

com.snowflake.openflow.runtime.processors.database.CaptureChangePostgreSQL

EnrichCdcStream 프로세서