데이터 레이크
데이터 레이크 (Data Lakes)
ClickHouse의 데이터 레이크 지원을 소개하는 문서예요. ClickHouse는 Iceberg, Delta Lake, Hudi, AWS Glue, REST Catalog, Unity Catalog, Microsoft OneLake 같은 가장 인기 있는 테이블 형식과 데이터 카탈로그를 지원해요.
출처: 문서
본문
이 섹션에서는 ClickHouse의 데이터 레이크(Data Lakes) 지원을 살펴볼게요. ClickHouse는 Iceberg, Delta Lake, Hudi, AWS Glue, REST Catalog, Unity Catalog, Microsoft OneLake를 포함한 가장 인기 있는 테이블 형식과 데이터 카탈로그를 많이 지원해요.
오픈 테이블 형식 (Open table formats)
Iceberg
iceberg 참고. 이 함수는 Amazon S3와 S3 호환 서비스, HDFS, Azure, 로컬 파일 시스템에서 읽기를 지원해요. icebergCluster는 iceberg 함수의 분산 변형이에요.
Delta Lake
deltaLake 참고. 이 함수는 Amazon S3와 S3 호환 서비스, Azure, 로컬 파일 시스템에서 읽기를 지원해요. deltaLakeCluster는 deltaLake 함수의 분산 변형이에요.
Hudi
hudi 참고. 이 함수는 Amazon S3와 S3 호환 서비스에서 읽기를 지원해요. hudiCluster는 hudi 함수의 분산 변형이에요.
데이터 카탈로그 (Data catalogs)
AWS Glue
AWS Glue Data Catalog는 Iceberg 테이블과 함께 사용할 수 있어요. iceberg 테이블 엔진 또는 DataLakeCatalog 데이터베이스 엔진과 함께 사용할 수 있어요.
Iceberg REST Catalog
Iceberg REST Catalog는 Iceberg 테이블과 함께 사용할 수 있어요. iceberg 테이블 엔진 또는 DataLakeCatalog 데이터베이스 엔진과 함께 사용할 수 있어요.
Snowflake Horizon Catalog
Snowflake Horizon Catalog는 Snowflake 관리 Iceberg 테이블을 위해 Iceberg REST API를 노출해요. catalog_type = 'horizon'으로 DataLakeCatalog를 사용해요. Horizon 카탈로그 가이드를 참고해요.
Unity Catalog
Unity Catalog는 Delta Lake와 Iceberg 테이블 모두와 함께 사용할 수 있어요. iceberg 또는 deltaLake 테이블 엔진, 또는 DataLakeCatalog 데이터베이스 엔진과 함께 사용할 수 있어요.
Microsoft OneLake
Microsoft OneLake는 Delta Lake와 Iceberg 테이블 모두와 함께 사용할 수 있어요. DataLakeCatalog 데이터베이스 엔진과 함께 사용할 수 있어요.