Amazon Kinesis Data Streams용 Openflow 커넥터

Amazon Kinesis Data Streams용 Openflow 커넥터

이 주제는 Openflow Connector for Amazon Kinesis Data Streams의 기본 개념을 워크플로우와 제한 사항을 포함해 설명해요. Amazon Kinesis Data Streams 커넥터는 Kinesis 스트림에서 데이터를 읽어 Snowpipe Streaming 아키텍처로 Snowflake 테이블에 써요.

출처: Snowflake 문서

본문

참고: 이 커넥터는 Snowflake Connector Terms가 적용돼요.

정보(About)

이 주제는 Openflow Connector for Amazon Kinesis Data Streams의 기본 개념(워크플로우와 제한 사항 포함)을 설명해요. Amazon Kinesis Data Streams를 사용해 대규모 데이터 레코드 스트림을 실시간으로 수집하고 처리할 수 있어요. 프로듀서(producers)는 Kinesis Data Streams에 데이터를 계속 푸시하고, 컨슈머(consumers)가 데이터를 실시간으로 처리해요.

Kinesis 데이터 스트림은 샤드(shards)의 집합이에요. 각 샤드는 데이터 레코드의 시퀀스를 가져요. 데이터 레코드는 Kinesis 데이터 스트림에 저장되는 데이터의 단위로, 시퀀스 번호, 파티션 키, 그리고 불변(immutable) 바이트 시퀀스인 데이터 블롭(blob)으로 구성돼요.

Openflow Connector for Amazon Kinesis Data Streams는 Kinesis 스트림에서 데이터를 읽어 Snowpipe Streaming 아키텍처를 사용해 Snowflake 테이블에 써요.

다음을 하려면 이 커넥터를 사용해요:

  • 근실시간(near real-time) 분석을 위해 Amazon Kinesis의 실시간 이벤트를 Snowflake로 수집
  • Amazon Kinesis의 실시간 이벤트를 Snowflake 관리형 Iceberg™ 테이블로 수집
  • Openflow 속도를 Interactive Tables 기능과 결합해 수집을 더 가속화
  • Single Message Transforms를 사용해 데이터가 Snowflake에 도착하기 전에 강화하거나 필터링

제한 사항(Limitations)

  • 하나의 커넥터는 단일 스트림에서만 수집을 지원해요.
  • 자동 확장(autoscaling)은 지원되지 않아요. Openflow 런타임의 min 및 max 노드 수는 Amazon Kinesis Data Streams용 Openflow 커넥터가 배포된 런타임에서 일정해야 해요.
  • 커넥터는 Snowflake 아웃바운드 AWS PrivateLink를 통한 Kinesis 트래픽 라우팅을 지원해요. DynamoDB 트래픽은 Amazon DynamoDB가 Private DNS를 지원하지 않으므로 공개 엔드포인트를 사용해야 해요. 자세한 내용은 (Optional) Configure outbound AWS PrivateLink을 참고해요.

커넥터와 함께하는 내결함성의 제한

Kinesis Streams는 보존 시간(retention time)을 구성할 수 있어요. 어떤 이유로든 Amazon Kinesis Data Streams용 Openflow 커넥터가 보존 시간보다 오래 데이터를 수집하지 못하면, 만료된 레코드는 로드되지 않아요.

다른 데이터 타입 사용 또는 데이터 조작

커넥터는 JSON 데이터 타입과 함께 작동하도록 구성돼 있어요. 여러 방식으로 수정하고 확장할 수 있어요. 필요한 변경을 하기 위한 안내는 설정 섹션의 전용 하위 페이지를, 아래의 공유 스트리밍 커스터마이즈 가이드를 참고해요:

지원되는 데이터 타입

Amazon Kinesis Data Streams용 Openflow 커넥터는 다음 데이터 타입을 지원해요:

  • JSON(커넥터에서 기본으로 제공)
  • Avro(추가 구성 필요)
  • Protobuf(추가 구성 필요)

다음 단계

더 알아보기 (Learn more)