Arrow 형식

Arrow 형식

Arrow 형식은 Apache Arrow의 컬럼형 저장소 형식 가운데 하나로, ClickHouse에서 이 형식의 읽기와 쓰기를 지원해요. Apache Arrow에는 내장된 두 가지 컬럼형 저장 형식이 있으며, Arrow는 메모리 내 임의 접근을 위해 설계된 "파일 모드" 형식입니다.

출처: 문서

본문

설명 (Description)

Apache Arrow에는 두 가지 내장된 컬럼형 저장 형식이 있습니다. ClickHouse는 이 형식들의 읽기 및 쓰기 연산을 지원합니다.

Arrow는 Apache Arrow의 "파일 모드" 형식으로, 메모리 내 임의 접근을 위해 설계되었습니다.

데이터 타입 매칭 (Data types matching)

아래 표는 지원되는 데이터 타입과 INSERT, SELECT 쿼리에서 ClickHouse 데이터 타입에 어떻게 대응하는지 보여줍니다.

배열(Array)은 중첩될 수 있고 인자로 Nullable 타입의 값을 가질 수 있습니다. Tuple과 Map 타입도 중첩될 수 있어요.

DICTIONARY 타입은 INSERT 쿼리에서 지원되며, SELECT 쿼리에는 LowCardinality 타입을 DICTIONARY 타입으로 출력할 수 있게 하는 output_format_arrow_low_cardinality_as_dictionary 설정이 있습니다. LowCardinality 딕셔너리에는 사용되지 않는 값이 있을 수 있으며, 이로 인해 출력 시 Arrow DICTIONARY에 사용되지 않는 값이 생길 수 있다는 점에 유의하세요.

지원되지 않는 Arrow 데이터 타입:

• JSON
• ENUM.

ClickHouse 테이블 컬럼의 데이터 타입이 해당 Arrow 데이터 필드와 일치할 필요는 없습니다. 데이터를 삽입할 때 ClickHouse는 위 표에 따라 데이터 타입을 해석하고, 그런 다음 데이터를 ClickHouse 테이블 컬럼에 설정된 데이터 타입으로 캐스팅합니다.

사용 예시 (Example usage)

아래 예시에서는 ClickHouse SQL 플레이그라운드에서 사용 가능한 forex 데이터셋을 사용합니다.

데이터 선택 (Selecting data)

플레이그라운드에서 EUR/USD 환율 하루치를 선택하여 로컬 forex_eurusd.arrow 파일에 저장합니다. 호스트는 sql-clickhouse.clickhouse.com이고 사용자는 demo(비밀번호 없음)인 HTTP 인터페이스로 쿼리합니다:

curl "https://sql-clickhouse.clickhouse.com:8443/?user=demo&database=forex" \
    --data-binary "
        SELECT
            concat(base, '.', quote) AS base_quote,
            datetime AS last_update,
            CAST(bid, 'Float32') AS bid,
            CAST(ask, 'Float32') AS ask,
            ask - bid AS spread
        FROM forex
        WHERE base = 'EUR' AND quote = 'USD'
            AND datetime >= '2020-01-01' AND datetime < '2020-01-02'
        ORDER BY datetime ASC
        FORMAT Arrow
        SETTINGS output_format_arrow_compression_method='zstd'" > forex_eurusd.arrow

파일 다시 읽기 (Reading the file back)

이제 로컬 Arrow 파일을 clickhouse-local과 file 테이블 함수를 사용하여 다시 읽을 수 있습니다. 파일은 자체 기술(self-describing) 형식이므로 Arrow 형식이 스키마를 자동으로 추론합니다:

clickhouse-local --query "
    SELECT *
    FROM file('forex_eurusd.arrow', Arrow)
    ORDER BY last_update ASC
    LIMIT 5
    FORMAT PrettyCompact"

응답

   ┌─base_quote─┬─────────────last_update─┬─────bid─┬─────ask─┬────────────────spread─┐
1. │ EUR.USD    │ 2020-01-01 17:00:00.065 │  1.1212 │ 1.12172 │ 0.0005199909210205078 │
2. │ EUR.USD    │ 2020-01-01 17:00:10.447 │  1.1212 │ 1.12192 │ 0.0007200241088867188 │
3. │ EUR.USD    │ 2020-01-01 17:00:10.498 │ 1.12117 │ 1.12161 │ 0.0004400014877319336 │
4. │ EUR.USD    │ 2020-01-01 17:00:12.579 │  1.1212 │ 1.12161 │ 0.0004100799560546875 │
5. │ EUR.USD    │ 2020-01-01 17:00:12.630 │  1.1212 │ 1.12172 │ 0.0005199909210205078 │
   └────────────┴─────────────────────────┴─────────┴─────────┴───────────────────────┘

데이터 삽입 (Inserting data)

Arrow 파일을 ClickHouse 테이블에 로드하려면 FORMAT Arrow와 함께 clickhouse-client로 파이프하면 됩니다:

cat forex_eurusd.arrow | clickhouse-client --query="INSERT INTO some_table FORMAT Arrow"

형식 설정 (Format settings)

더 알아보기 (Learn more)

• Formats 개요
• ArrowStream 형식