Kafka용 Snowflake Openflow 커넥터

Kafka용 Snowflake Openflow 커넥터

이 주제는 Openflow Connector for Kafka의 기본 개념과 제한 사항을 설명해요. 이 커넥터는 Kafka 토픽에서 데이터를 읽어 Snowpipe Streaming High Performance 아키텍처를 사용해 Snowflake 테이블에 써요.

출처: Snowflake 문서

본문

참고: 이 커넥터는 Snowflake Connector Terms가 적용돼요.

이 주제는 Openflow Connector for Kafka의 기본 개념과 제한 사항을 설명해요. Openflow Connector for Kafka는 Kafka 토픽에서 데이터를 읽어 Snowpipe Streaming High Performance 아키텍처로 Snowflake 테이블에 써요.

다음을 하려면 이 커넥터를 사용해요:

  • 근실시간(near real-time) 분석을 위해 Apache Kafka의 실시간 이벤트를 Snowflake로 수집
  • Apache Kafka의 실시간 이벤트를 Snowflake 관리형 Iceberg™ 테이블로 수집
  • Openflow 속도를 Interactive Tables 기능과 결합해 수집을 더 가속화
  • 데이터가 Snowflake에 도착하기 전에 Single Message Transforms로 데이터 강화 또는 필터링

제한 사항(Limitations)

  • 자동 확장(autoscaling)은 지원되지 않아요. Kafka용 Openflow 커넥터가 배포된 런타임에서는 Openflow 런타임의 min 및 max 노드 수가 일정해야 해요.
  • Kafka 클러스터는 버전 0.10.0.0 이상이어야 해요. 이전 버전의 Kafka는 지원되지 않아요.

다른 인증 옵션, 데이터 타입 또는 데이터 조작 사용하기

커넥터는 JSON 데이터 타입과 SASL_SSL 인증 방식과 함께 작동하도록 구성돼 있어요. 커넥터는 여러 방식으로 수정하고 확장할 수 있어요. 필요한 변경을 하기 위한 안내는 설정 섹션의 전용 하위 페이지를 참고해요.

이 커넥터에는 다음 공유 스트리밍 커스터마이즈 가이드가 적용돼요:

지원되는 데이터 타입

Kafka용 Openflow 커넥터는 다음 데이터 타입을 지원해요:

  • JSON(커넥터에서 기본으로 제공)
  • Avro(추가 구성 필요)
  • Protobuf(추가 구성 필요)

지원되는 인증 방식

Kafka용 Openflow 커넥터는 다음 인증 메커니즘을 지원해요:

  • 다음 SASL 메커니즘의 SASL:
    • PLAIN
    • SCRAM-SHA-256
    • SCRAM-SHA-512(커넥터에서 기본으로 제공)
    • OAUTHBEARER
  • SASL with AWS MSK IAM(컨트롤러 서비스를 통한 추가 구성 필요)
  • mTLS(컨트롤러 서비스를 통한 추가 구성 필요)

다음 단계

더 알아보기 (Learn more)