Hudi 커넥터

Hudi 커넥터 (Hudi connector)

Hudi 커넥터는 Hudi 테이블을 질의할 수 있게 해 줘요.

출처: 문서

본문

요구사항 (Requirements)

Hudi 커넥터를 사용하려면 다음이 필요해요:

• Hudi 0.12.3 이상.
• Trino 코디네이터와 워커에서 Hudi 스토리지로 네트워크 접근.
• Hive 메타스토어 서비스(HMS) 접근.
• Trino 코디네이터에서 HMS로 네트워크 접근.
• 지원되는 파일 시스템의 Parquet 파일 포맷으로 저장된 데이터 파일.

일반 설정 (General configuration)

Hudi 커넥터를 구성하려면 hudi 커넥터를 참조하는 etc/catalog/example.properties 카탈로그 속성 파일을 만드세요.

테이블 메타데이터를 위한 메타스토어를 구성해야 해요.

지원되는 파일 시스템 중 하나를 선택해 구성해야 해요.

connector.name=hudi
hive.metastore.uri=thrift://example.net:9083
fs.x.enabled=true

쿼리 예시

집계 쿼리:

USE example.example_schema;

SELECT symbol, max(ts)
FROM stock_ticks_cow
GROUP BY symbol
HAVING symbol = 'GOOG';

  symbol   |        _col1         |
-----------+----------------------+
 GOOG      | 2018-08-31 10:59:00  |
(1 rows)

조건 필터:

SELECT dt, symbol
FROM stock_ticks_cow
WHERE symbol = 'GOOG';

    dt      | symbol |
------------+--------+
 2018-08-31 |  GOOG  |
(1 rows)

그룹별 개수:

SELECT dt, count(*)
FROM stock_ticks_cow
GROUP BY dt;

    dt      | _col1 |
------------+--------+
 2018-08-31 |  99  |
(1 rows)

$timeline 스키마 테이블로 Hudi 테이블의 커밋 타임라인을 조회할 수 있어요:

SELECT * FROM "test_table$timeline"

 timestamp          | action  | state
--------------------+---------+-----------
8667764846443717831 | commit  | COMPLETED
7860805980949777961 | commit  | COMPLETED

더 알아보기 (Learn more)

다른 데이터 레이크 포맷 커넥터가 궁금하다면 Delta Lake 커넥터 문서를 이어서 읽어 보세요.