JDBC Sink 커넥터

JDBC Sink 커넥터

JDBC sink 커넥터는 Pulsar 토픽에서 메시지를 가져와 ClickHouse, MariaDB, PostgreSQL, SQLite에 저장하는 커넥터예요. JDBC를 통해 관계형 데이터베이스 및 그 호환 데이터베이스로 Pulsar 데이터를 써 넣을 때 사용해요.

참고: 모든 Pulsar 커넥터는 download page에서 내려받을 수 있어요.

출처: 문서

본문

JDBC sink 커넥터는 Pulsar 토픽에서 메시지를 가져와 ClickHouse, MariaDB, PostgreSQL, SQLite에 저장해요.

현재 INSERT, DELETE, UPDATE 연산이 지원돼요. SQLite, MariaDB, PostgreSQL은 UPSERT 연산과 멱등 쓰기(idempotent writes)도 지원해요.

구성 (Configuration)

모든 JDBC sink 커넥터의 구성에는 다음과 같은 프로퍼티가 있어요.

프로퍼티 (Property)

ClickHouse 예시

• JSON

{
   "configs": {
      "userName": "clickhouse",
      "password": "password",
      "jdbcUrl": "jdbc:clickhouse://localhost:8123/pulsar_clickhouse_jdbc_sink",
      "tableName": "pulsar_clickhouse_jdbc_sink"
      "useTransactions": "false"
   }
}

• YAML

tenant: "public"
namespace: "default"
name: "jdbc-clickhouse-sink"
inputs: [ "persistent://public/default/jdbc-clickhouse-topic" ]
sinkType: "jdbc-clickhouse"
configs:
    userName: "clickhouse"
    password: "password"
    jdbcUrl: "jdbc:clickhouse://localhost:8123/pulsar_clickhouse_jdbc_sink"
    tableName: "pulsar_clickhouse_jdbc_sink"
    useTransactions: "false"

MariaDB 예시

• JSON

{
   "configs": {
      "userName": "mariadb",
      "password": "password",
      "jdbcUrl": "jdbc:mariadb://localhost:3306/pulsar_mariadb_jdbc_sink",
      "tableName": "pulsar_mariadb_jdbc_sink"
   }
}

• YAML

tenant: "public"
namespace: "default"
name: "jdbc-mariadb-sink"
inputs: [ "persistent://public/default/jdbc-mariadb-topic" ]
sinkType: "jdbc-mariadb"
configs:
    userName: "mariadb"
    password: "password"
    jdbcUrl: "jdbc:mariadb://localhost:3306/pulsar_mariadb_jdbc_sink"
    tableName: "pulsar_mariadb_jdbc_sink"

OpenMLDB 예시

OpenMLDB는 DELETE와 UPDATE 연산을 지원하지 않아요.

• JSON

{
   "configs": {
      "jdbcUrl": "jdbc:openmldb:///pulsar_openmldb_db?zk=localhost:6181&zkPath=/openmldb",
      "tableName": "pulsar_openmldb_jdbc_sink"
   }
}

• YAML

tenant: "public"
namespace: "default"
name: "jdbc-openmldb-sink"
inputs: [ "persistent://public/default/jdbc-openmldb-topic" ]
sinkType: "jdbc-openmldb"
configs:
    jdbcUrl: "jdbc:openmldb:///pulsar_openmldb_db?zk=localhost:6181&zkPath=/openmldb"
    tableName: "pulsar_openmldb_jdbc_sink"

PostgreSQL 예시

JDBC PostgreSQL sink 커넥터를 사용하기 전에 다음 방법 중 하나로 구성 파일을 만들어야 해요.

• JSON

{
   "configs": {
      "userName": "postgres",
      "password": "password",
      "jdbcUrl": "jdbc:postgresql://localhost:5432/pulsar_postgres_jdbc_sink",
      "tableName": "pulsar_postgres_jdbc_sink"
   }
}

• YAML

tenant: "public"
namespace: "default"
name: "jdbc-postgres-sink"
inputs: [ "persistent://public/default/jdbc-postgres-topic" ]
sinkType: "jdbc-postgres"
configs:
    userName: "postgres"
    password: "password"
    jdbcUrl: "jdbc:postgresql://localhost:5432/pulsar_postgres_jdbc_sink"
    tableName: "pulsar_postgres_jdbc_sink"

이 JDBC sink 커넥터를 사용하는 방법에 대한 더 자세한 내용은 connect Pulsar to PostgreSQL을 참고하세요.

SQLite 예시

• JSON

{
   "configs": {
      "jdbcUrl": "jdbc:sqlite:db.sqlite",
      "tableName": "pulsar_sqlite_jdbc_sink"
   }
}

• YAML

tenant: "public"
namespace: "default"
name: "jdbc-sqlite-sink"
inputs: [ "persistent://public/default/jdbc-sqlite-topic" ]
sinkType: "jdbc-sqlite"
configs:
    jdbcUrl: "jdbc:sqlite:db.sqlite"
    tableName: "pulsar_sqlite_jdbc_sink"

더 알아보기 (Learn more)

• JDBC 커넥터 개요
• Pulsar를 PostgreSQL에 연결하는 퀵스타트
• Pulsar IO 커넥터 개요
• 커넥터 관리 CLI (pulsar-admin)