Nessie 카탈로그
Nessie 카탈로그 (Nessie catalog)
Git에서 영감을 받은 오픈소스 트랜잭션 카탈로그인 Project Nessie를 ClickHouse에 연결해 데이터를 조회하는 방법을 살펴봐요.
출처: 문서
본문
Nessie Catalog와의 통합은 Iceberg 테이블에서만 동작해요. 이 통합은 AWS S3와 다른 클라우드 스토리지 제공자를 모두 지원해요.
ClickHouse는 여러 카탈로그(Unity, Glue, REST, Polaris 등)와의 통합을 지원해요. 이 가이드에서는 ClickHouse와 Nessie 카탈로그를 사용해 데이터를 조회하는 단계를 안내할게요. Nessie는 데이터 레이크용 오픈소스 트랜잭션 카탈로그로 다음을 제공해요:
- Git에서 영감을 받은 브랜치와 커밋이 있는 데이터 버전 관리
- 크로스 테이블 트랜잭션과 가시성 보장
- Iceberg REST 카탈로그 스펙을 준수하는 REST API
- Hive, Spark, Dremio, Trino 등을 지원하는 오픈 데이터 레이크 접근 방식
- Docker나 Kubernetes에서 프로덕션 가능한 배포
이 기능은 실험적이므로 SET allow_experimental_database_iceberg = 1;을 사용해 활성화해야 해요.
로컬 개발 설정
로컬 개발과 테스트를 위해 컨테이너화된 Nessie 설정을 사용할 수 있어요. 이 접근 방식은 학습, 프로토타이핑, 개발 환경에 이상적이에요.
사전 조건
- Docker와 Docker Compose: Docker가 설치되어 실행 중인지 확인해요
- 샘플 설정: 공식 Nessie docker-compose 설정을 사용할 수 있어요
로컬 Nessie Catalog 설정하기
공식 Nessie docker-compose 설정을 사용할 수 있어요. Nessie, 인메모리 버전 스토어, 오브젝트 스토리지용 MinIO를 포함한 완전한 환경을 제공해요.
Step 1: 예시를 실행할 새 폴더를 만들고 다음 구성을 가진 파일 docker-compose.yml을 만들어요:
version: '3.8'
services:
nessie:
image: ghcr.io/projectnessie/nessie:latest
ports:
- "19120:19120"
environment:
- nessie.version.store.type=IN_MEMORY
- nessie.catalog.default-warehouse=warehouse
- nessie.catalog.warehouses.warehouse.location=s3://my-bucket/
- nessie.catalog.service.s3.default-options.endpoint=http://minio:9000/
- nessie.catalog.service.s3.default-options.access-key=urn:nessie-secret:quarkus:nessie.catalog.secrets.access-key
- nessie.catalog.service.s3.default-options.path-style-access=true
- nessie.catalog.service.s3.default-options.auth-type=STATIC
- nessie.catalog.secrets.access-key.name=admin
- nessie.catalog.secrets.access-key.secret=password
- nessie.catalog.service.s3.default-options.region=us-east-1
- nessie.server.authentication.enabled=false
depends_on:
minio:
condition: service_healthy
networks:
- iceberg_net
minio:
image: quay.io/minio/minio
ports:
- "9002:9000"
- "9003:9001"
environment:
- MINIO_ROOT_USER=admin
- MINIO_ROOT_PASSWORD=password
- MINIO_REGION=us-east-1
healthcheck:
test: ["CMD", "mc", "ready", "local"]
interval: 5s
timeout: 10s
retries: 5
start_period: 30s
entrypoint: >
/bin/sh -c "
minio server /data --console-address ':9001' &
sleep 10;
mc alias set myminio http://localhost:9000 admin password;
mc mb myminio/my-bucket --ignore-existing;
tail -f /dev/null"
networks:
- iceberg_net
clickhouse:
image: clickhouse/clickhouse-server:head
container_name: nessie-clickhouse
user: '0:0' # Ensures root permissions
ports:
- "8123:8123"
- "9000:9000"
volumes:
- clickhouse_data:/var/lib/clickhouse
- ./clickhouse/data_import:/var/lib/clickhouse/data_import # Mount dataset folder
networks:
- iceberg_net
environment:
- CLICKHOUSE_DB=default
- CLICKHOUSE_USER=default
- CLICKHOUSE_DO_NOT_CHOWN=1
- CLICKHOUSE_PASSWORD=
depends_on:
nessie:
condition: service_started
minio:
condition: service_healthy
volumes:
clickhouse_data:
networks:
iceberg_net:
driver: bridge
Step 2: 다음 명령을 실행해 서비스를 시작해요:
docker compose up -d
Step 3: 모든 서비스가 준비될 때까지 기다려요. 로그를 확인할 수 있어요:
docker-compose logs -f
Nessie 설정은 인메모리 버전 스토어를 사용하며 먼저 샘플 데이터를 Iceberg 테이블에 로드해야 해요. ClickHouse로 조회하기 전에 환경이 테이블을 만들고 채웠는지 확인해 주세요.
로컬 Nessie Catalog에 연결하기
ClickHouse 컨테이너에 연결해요:
docker exec -it nessie-clickhouse clickhouse-client
그런 다음 Nessie 카탈로그에 대한 데이터베이스 연결을 만들어요:
SET allow_experimental_database_iceberg = 1;
CREATE DATABASE demo
ENGINE = DataLakeCatalog('http://nessie:19120/iceberg', 'admin', 'password')
SETTINGS catalog_type = 'rest', storage_endpoint = 'http://minio:9002/my-bucket', warehouse = 'warehouse'
ClickHouse로 Nessie 카탈로그 테이블 조회하기
이제 연결이 있으니 Nessie 카탈로그를 통해 조회할 수 있어요. 예를 들어:
USE demo;
SHOW TABLES;
설정에 샘플 데이터(택시 데이터셋 같은)가 포함되어 있다면 다음과 같은 테이블이 보여야 해요:
┌─name──────────┐
│ default.taxis │
└───────────────┘
테이블이 없으면 보통 다음을 의미해요:
- 환경이 아직 샘플 테이블을 만들지 않았어요
- Nessie 카탈로그 서비스가 완전히 초기화되지 않았어요
- 샘플 데이터 로딩 프로세스가 완료되지 않았어요
Nessie 로그를 확인해 카탈로그 활동을 볼 수 있어요:
docker-compose logs nessie
테이블을 조회하려면(가능하다면):
SELECT count(*) FROM `default.taxis`;
┌─count()─┐
│ 2171187 │
└─────────┘
백틱 필요 ClickHouse는 네임스페이스를 하나 이상 지원하지 않기 때문에 백틱이 필요해요.
테이블 DDL을 검사하려면:
SHOW CREATE TABLE `default.taxis`;
┌─statement─────────────────────────────────────────────────────────────────────────────────────┐
│ CREATE TABLE demo.`default.taxis` │
│ ( │
│ `VendorID` Nullable(Int64), │
│ `tpep_pickup_datetime` Nullable(DateTime64(6)), │
│ `tpep_dropoff_datetime` Nullable(DateTime64(6)), │
│ `passenger_count` Nullable(Float64), │
│ `trip_distance` Nullable(Float64), │
│ `RatecodeID` Nullable(Float64), │
│ `store_and_fwd_flag` Nullable(String), │
│ `PULocationID` Nullable(Int64), │
│ `DOLocationID` Nullable(Int64), │
│ `payment_type` Nullable(Int64), │
│ `fare_amount` Nullable(Float64), │
│ `extra` Nullable(Float64), │
│ `mta_tax` Nullable(Float64), │
│ `tip_amount` Nullable(Float64), │
│ `tolls_amount` Nullable(Float64), │
│ `improvement_surcharge` Nullable(Float64), │
│ `total_amount` Nullable(Float64), │
│ `congestion_surcharge` Nullable(Float64), │
│ `airport_fee` Nullable(Float64) │
│ ) │
│ ENGINE = Iceberg('http://localhost:9002/my-bucket/default/taxis/', 'admin', '[HIDDEN]') │
└───────────────────────────────────────────────────────────────────────────────────────────────┘
데이터 레이크에서 ClickHouse로 데이터 로드하기
Nessie 카탈로그에서 ClickHouse로 데이터를 로드해야 한다면 먼저 로컬 ClickHouse 테이블을 만들어요:
CREATE TABLE taxis
(
`VendorID` Int64,
`tpep_pickup_datetime` DateTime64(6),
`tpep_dropoff_datetime` DateTime64(6),
`passenger_count` Float64,
`trip_distance` Float64,
`RatecodeID` Float64,
`store_and_fwd_flag` String,
`PULocationID` Int64,
`DOLocationID` Int64,
`payment_type` Int64,
`fare_amount` Float64,
`extra` Float64,
`mta_tax` Float64,
`tip_amount` Float64,
`tolls_amount` Float64,
`improvement_surcharge` Float64,
`total_amount` Float64,
`congestion_surcharge` Float64,
`airport_fee` Float64
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(tpep_pickup_datetime)
ORDER BY (VendorID, tpep_pickup_datetime, PULocationID, DOLocationID);
그런 다음 INSERT INTO SELECT로 Nessie 카탈로그 테이블에서 데이터를 로드해요:
INSERT INTO taxis
SELECT * FROM demo.`default.taxis`;