SQL & Table API 커넥터
SQL & Table API 커넥터
Flink SQL과 Table API에서 사용할 수 있는 커넥터들을 소개하는 섹션 진입점이에요. 커넥터를 사용하면 외부 시스템(Kafka, 파일시스템, 데이터베이스 등)과 데이터를 읽고 쓸 수 있어요.
출처: 문서
본문
Flink의 Table API와 SQL은 다양한 외부 시스템과 상호작용하기 위한 커넥터(connector)를 제공해요. 커넥터는 테이블을 정의할 때 'connector' = '<name>' 옵션으로 지정해요. 이 섹션에서는 다음 커넥터들을 다뤄요:
- Kafka: 인기 있는 분산 메시지 스트리밍 플랫폼.
- FileSystem: 로컬 파일, HDFS, S3 등 파일 기반 스토리지.
- JDBC: 관계형 데이터베이스 연결.
- HBase: HBase 클러스터 읽기/쓰기.
- BlackHole: 모든 입력을 버리는 테스트용 싱크.
- DataGen: 샘플 데이터를 자동 생성하는 소스.
- Print: 결과를 태스크매니저 로그로 출력하는 싱크.
또한 각 커넥터와 함께 사용하는 포맷(format)(CSV, JSON, Debezium, Avro 등)도 이 섹션에서 다뤄요. 포맷은 커넥터가 데이터를 직렬화/역직렬화하는 방식을 정의해요.