레이크하우스 커넥터

레이크하우스 커넥터 (Lakehouse connector)

Lakehouse 커넥터는 여러 스토리지 시스템과 메타스토어 서비스에 걸쳐 다양한 테이블 포맷으로 저장된 데이터와 상호작용하는 통일된 방법을 제공해요. 이 단일 커넥터로 Iceberg, Delta Lake, Hudi 테이블 포맷이든 전통적인 Hive 테이블이든 관계없이 데이터를 매끄럽게 질의하고 쓸 수 있어요.

출처: 문서

본문

이 커넥터는 AWS Glue와 Hive Metastore를 포함한 인기 메타스토어 서비스에 유연하게 연결돼요. 데이터 스토리지로는 AWS S3, S3 호환 스토리지, Google Cloud Storage(GCS), Azure Blob Storage 같은 클라우드 스토리지 서비스와 HDFS 설치를 폭넓게 지원해요.

이 커넥터는 Hive, Iceberg, Delta Lake, Hudi 커넥터의 기능을 단일 커넥터로 결합해요. 구성 속성, 세션 속성, 테이블 속성, 동작은 기반 커넥터에서 옵니다. 사용 중인 테이블 포맷에 대한 기반 커넥터의 문서를 참고하세요.

일반 설정 (General configuration)

Lakehouse 커넥터를 구성하려면 etc/catalog/example.properties 카탈로그 속성 파일을 만들고, 속성을 적절히 바꿔 다음 내용을 넣으세요:

connector.name=lakehouse

테이블을 생성할 때 type으로 테이블 포맷을 지정할 수 있어요. Iceberg 테이블:

CREATE TABLE iceberg_table (
  c1 INTEGER,
  c2 DATE,
  c3 DOUBLE
)
WITH (
  type = 'ICEBERG'
  format = 'PARQUET',
  partitioning = ARRAY['c1', 'c2'],
  sorted_by = ARRAY['c3']
);

Hive 테이블:

CREATE TABLE hive_page_views (
  view_time TIMESTAMP,
  user_id BIGINT,
  page_url VARCHAR,
  ds DATE,
  country VARCHAR
)
WITH (
  type = 'HIVE',
  format = 'ORC',
  partitioned_by = ARRAY['ds', 'country'],
  bucketed_by = ARRAY['user_id'],
  bucket_count = 50
)

더 알아보기 (Learn more)

테이블 포맷별 세부 설정이 궁금하다면 Iceberg 커넥터 문서를 이어서 읽어 보세요.