CREATE DICTIONARY ... SOURCE Executable Pool

CREATE DICTIONARY ... SOURCE Executable Pool

Executable Pool은 프로세스 풀에서 데이터를 로드할 수 있게 해줘요. 이 소스는 소스에서 모든 데이터를 로드해야 하는 딕셔너리 레이아웃에서는 동작하지 않습니다.

출처: 문서

본문

Executable pool은 다음 레이아웃 중 하나로 딕셔너리가 저장될 때 동작해요.

• cache
• complex_key_cache
• ssd_cache
• complex_key_ssd_cache
• direct
• complex_key_direct

Executable pool은 지정된 명령으로 프로세스 풀을 만들고 종료할 때까지 계속 실행시켜요. 프로그램은 STDIN에서 데이터를 사용 가능한 동안 읽고 결과를 STDOUT으로 출력해야 합니다. STDIN에서 다음 데이터 블록을 기다릴 수 있어요. ClickHouse는 데이터 블록을 처리한 후 STDIN을 닫지 않고, 필요할 때 또 다른 데이터 청크를 파이프로 보냅니다. 실행 스크립트는 이런 데이터 처리 방식에 대비해야 해요 — STDIN을 폴링하고 데이터를 STDOUT으로 일찍 플러시해야 합니다.

설정 예시:

• DDL
• Configuration file

SOURCE(EXECUTABLE_POOL(
    command 'while read key; do printf "$key\tData for key $key\n"; done'
    format 'TabSeparated'
    pool_size 10
    max_command_execution_time 10
    implicit_key false
))

<source>
    <executable_pool>
        <command>while read key; do printf "$key\tData for key $key\n"; done</command>
        <format>TabSeparated</format>
        <pool_size>10</pool_size>
        <max_command_execution_time>10</max_command_execution_time>
        <implicit_key>false</implicit_key>
    </executable_pool>
</source>

설정 필드:

이 딕셔너리 소스는 XML 구성으로만 설정할 수 있어요. DDL로 실행 소스를 가진 딕셔너리를 만드는 것은 비활성화되어 있습니다. 그렇지 않으면 DB 사용자가 ClickHouse 노드에서 임의 바이너리를 실행할 수 있기 때문이에요.

더 알아보기 (Learn more)

• Sources 개요
• Layouts 개요