ODBC 테이블 엔진

ODBC를 통해 ClickHouse가 외부 데이터베이스에 연결할 수 있게 해줘요. ODBC 연결을 안전하게 구현하기 위해 ClickHouse는 별도 프로그램 clickhouse-odbc-bridge를 사용해요. ODBC 드라이버가 clickhouse-server에서 직접 로드되면 드라이버 문제로 ClickHouse 서버가 충돌할 수 있어요. ClickHouse는 필요할 때 clickhouse-odbc-bridge를 자동으로 시작해요. ODBC 브리지 프로그램은 clickhouse-server와 같은 패키지에서 설치돼요.

이 엔진은 Nullable 데이터 타입을 지원해요.

출처: 문서

본문

테이블 생성하기

CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
    name1 [type1],
    name2 [type2],
    ...
)
ENGINE = ODBC(datasource, external_database, external_table)

CREATE TABLE 쿼리에 대한 자세한 설명은 해당 문서를 참고해요. 테이블 구조는 소스 테이블 구조와 달라질 수 있어요.

컬럼 이름은 소스 테이블과 같아야 하지만, 그중 일부 컬럼만 어떤 순서로든 사용할 수 있어요
컬럼 타입은 소스 테이블과 달라질 수 있어요. ClickHouse는 값을 cast하여 ClickHouse 데이터 타입으로 변환하려 해요
external_table_functions_use_nulls 설정은 Nullable 컬럼을 처리하는 방식을 정의해요. 기본값: 1. 0이면 테이블 함수는 Nullable 컬럼을 만들지 않고 null 대신 기본값을 삽입해요. 이는 배열 내부의 NULL 값에도 적용돼요

엔진 매개변수

datasource — odbc.ini 파일에 있는 연결 설정 섹션의 이름
external_database — 외부 DBMS의 데이터베이스 이름
external_table — external_database의 테이블 이름

이 매개변수들은 named collections로도 전달할 수 있어요.

사용 예시

ODBC로 로컬 MySQL 설치에서 데이터 검색하기

이 예시는 Ubuntu Linux 18.04와 MySQL 서버 5.7에서 확인됐어요. unixODBC와 MySQL Connector가 설치되어 있는지 확인해요. 기본적으로(패키지에서 설치하면) ClickHouse는 clickhouse 사용자로 시작돼요. 따라서 MySQL 서버에서 이 사용자를 만들고 구성해야 해요.

$ sudo mysql

mysql> CREATE USER 'clickhouse'@'localhost' IDENTIFIED BY 'clickhouse';
mysql> GRANT ALL PRIVILEGES ON *.* TO 'clickhouse'@'localhost' WITH GRANT OPTION;

그런 다음 /etc/odbc.ini에서 연결을 구성해요.

$ cat /etc/odbc.ini
[mysqlconn]
DRIVER = /usr/local/lib/libmyodbc5w.so
SERVER = 127.0.0.1
PORT = 3306
DATABASE = test
USER = clickhouse
PASSWORD = clickhouse

unixODBC 설치의 isql 유틸리티로 연결을 확인할 수 있어요.

$ isql -v mysqlconn
+-------------------------+
| Connected!                            |
|                                       |
...

MySQL의 테이블:

mysql> CREATE DATABASE test;
Query OK, 1 row affected (0,01 sec)

mysql> CREATE TABLE `test`.`test` (
    ->   `int_id` INT NOT NULL AUTO_INCREMENT,
    ->   `int_nullable` INT NULL DEFAULT NULL,
    ->   `float` FLOAT NOT NULL,
    ->   `float_nullable` FLOAT NULL DEFAULT NULL,
    ->   PRIMARY KEY (`int_id`));
Query OK, 0 rows affected (0,09 sec)

mysql> insert into test.test (`int_id`, `float`) VALUES (1,2);
Query OK, 1 row affected (0,00 sec)

mysql> select * from test.test;
+------+----------+-----+----------+
| int_id | int_nullable | float | float_nullable |
+------+----------+-----+----------+
|      1 |         NULL |     2 |           NULL |
+------+----------+-----+----------+
1 row in set (0,00 sec)

MySQL 테이블에서 데이터를 가져오는 ClickHouse 테이블:

CREATE TABLE odbc_t
(
    `int_id` Int32,
    `float_nullable` Nullable(Float32)
)
ENGINE = ODBC('DSN=mysqlconn', 'test', 'test')

SELECT * FROM odbc_t

┌─int_id─┬─float_nullable─┐
│      1 │           ᴺᵁᴸᴸ │
└────────┴────────────────┘

ODBC 테이블 엔진