CDC 커넥터
CDC 커넥터
이 페이지는 Pulsar의 CDC(Change Data Capture) 커넥터에 대한 개요를 다루는 문서예요. CDC 소스 커넥터는 MySQL, MongoDB, PostgreSQL 같은 데이터베이스의 로그 변경분(log changes)을 캡처해서 Pulsar로 가져오는데요, Pulsar 안에 영속적(persistent)이고 복제(replicated)되며 파티셔닝(partitioned)된 방식으로 데이터를 저장해요.
출처: 문서
본문
CDC 소스 커넥터는 Canal과 Debezium 위에 구축되어 있어요. 즉 Canal과 Debezium이 감지한 데이터베이스 변경 로그를 Pulsar 클러스터로 흘려보내는 구조라고 생각하면 돼요.
현재 Pulsar가 제공하는 CDC 커넥터는 다음과 같아요.
| 이름 | Java 클래스 |
|---|---|
| Canal 소스 커넥터 | org.apache.pulsar.io.canal.CanalStringSource.java |
| Debezium 소스 커넥터 | org.apache.pulsar.io.debezium.DebeziumSource.java, org.apache.pulsar.io.debezium.mysql.DebeziumMysqlSource.java, org.apache.pulsar.io.debezium.postgres.DebeziumPostgresSource.java |
Canal과 Debezium에 대한 더 자세한 내용은 아래 표를 참고하세요.
| 주제 | 참고 문서 |
|---|---|
| MySQL과 함께 Canal 소스 커넥터 사용하기 | Canal 가이드 |
| Canal의 동작 방식 | Canal 튜토리얼 |
| MySQL과 함께 Debezium 소스 커넥터 사용하기 | Debezium 가이드 |
| Debezium의 동작 방식 | Debezium 튜토리얼 |