스트림 커넥터 버전 매트릭스

스트림 커넥터 버전 매트릭스 (Stream Connector Version Matrix)

Apache Pinot와 함께 제공되는 모든 스트림 수집 커넥터의 버전·패키징 매트릭스를 다루는 문서예요. 각 스트림 커넥터를 Maven 모듈, 아티팩트 ID, 기본 클라이언트 라이브러리 버전, 소비자 팩토리 클래스에 매핑한 빠른 참조 매트릭스를 제공해요.

출처: 문서

본문

이 페이지는 각 스트림 커넥터를 Maven 모듈, 아티팩트 ID, 기본 클라이언트 라이브러리 버전, 소비자 팩토리 클래스에 매핑한 빠른 참조 매트릭스를 제공해요.

커넥터 매트릭스 (Connector matrix)

위의 모든 버전 번호는 Pinot master 브랜치(1.5.0-SNAPSHOT) 기준이에요. 배포된 Pinot 버전은 약간 다른 클라이언트 라이브러리 버전을 제공할 수 있어요. 정확한 버전은 Pinot 릴리스의 해당 모듈 pom.xml을 확인해 보세요.

호환성 메모 (Compatibility notes)

Kafka 3.x 커넥터 (pinot-kafka-3.0)

• Kafka 브로커 2.x 이상과 호환돼요.
• kafka-clients와 함께 Scala 기반 Kafka 라이브러리를 사용해요.
• 대부분의 배포에서 권장되는 커넥터예요.

Kafka 4.x 커넥터 (pinot-kafka-4.0)

• Kafka 브로커 4.0 이상을 요구해요.
• 순수 자바 kafka-clients 라이브러리만 사용해요(Scala 의존성 없음).
• ZooKeeper를 제거한 KRaft 모드 Kafka 클러스터를 위해 설계됐어요.
• 임베디드 Kafka 서버 대신 통합 테스트에 Testcontainers를 사용해요.

Amazon Kinesis 커넥터 (pinot-kinesis)

• AWS SDK v2 (software.amazon.awssdk)를 사용해요.
• 키 기반과 IAM 역할 기반 인증을 모두 지원해요.
• 기본 Pinot 배포판에 포함돼요.

Apache Pulsar 커넥터 (pinot-pulsar)

• 기본 바이너리 배포판에 포함되지 않아요. 시작 시 -Dplugins.include=pinot-pulsar로 활성화하거나, 플러그인 JAR을 plugins 디렉토리에 추가해요.
• Apache Pulsar 클라이언트 라이브러리를 사용해요.
• 토큰 기반, OAuth2, TLS 인증을 지원해요.

제거된 커넥터 (Removed connectors)

마이그레이션하려면 테이블 구성의 stream.kafka.consumer.factory.class.name을 이전 클래스에서 새 클래스로 업데이트하면 돼요. 다른 스트림 구성 변경은 필요 없어요.

더 알아보기 (Learn more)

• 스트림 수집 커넥터 (Stream Ingestion Connectors)
• 스트림 수집 플러그인 작성 (Write Your Stream)