lakeFS와 Apache Kafka 함께 사용하기

Apache Kafka는 실시간 데이터 피드를 처리하기 위한 통합형 고처리량, 저지연 플랫폼을 제공해요.

Kafka의 다양한 배포판은 Kafka Sink Connector라고 불리는, S3로 데이터를 내보내는 서로 다른 방법을 제공해요.

S3용으로 가장 많이 쓰이는 커넥터는 Confluent의 S3 Sink Connector예요.

lakeFS 지원을 위해 connector.properties 파일에 다음을 추가하세요:

출처: 문서

본문

# Your lakeFS repository
s3.bucket.name=example-repo

# Your lakeFS S3 endpoint and credentials
store.url=https://lakefs.example.com
aws.access.key.id=«redacted:AKIA…»
aws.secret.access.key=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY

# main being the branch we want to write to
topics.dir=main/topics

예시

사용 예시는 lakeFS Kafka 샘플 저장소를 참고하세요.

더 알아보기 (Learn more)

공식 문서: lakeFS Apache Kafka 연동