delta_metadata_log 시스템 테이블

delta_metadata_log 시스템 테이블

delta_metadata_log 시스템 테이블은 ClickHouse가 읽는 Delta Lake 테이블의 메타데이터 접근 및 파싱 이벤트를 기록해요. 각 메타데이터 파일에 대한 상세 정보를 제공하며, 디버깅, 감사, Delta 테이블 구조 변화 이해에 유용해요.

출처: 문서

본문

Querying in ClickHouse Cloud 이 시스템 테이블의 데이터는 ClickHouse Cloud의 각 노드에 로컬로 보관돼요. 따라서 모든 데이터에 대한 완전한 뷰를 얻으려면 clusterAllReplicas 함수가 필요해요. 자세한 내용은 여기를 참고해요.

Description (설명)

system.delta_lake_metadata_log 테이블은 ClickHouse가 읽는 Delta Lake 테이블의 메타데이터 접근 및 파싱 이벤트를 기록해요. 각 메타데이터 파일에 대한 상세 정보를 제공하며, 디버깅, 감사, Delta 테이블 구조 변화 이해에 유용해요. 이 테이블은 Delta Lake 테이블에서 읽은 모든 메타데이터 파일을 기록해요. 사용자가 ClickHouse가 Delta 테이블 메타데이터를 어떻게 해석하는지 추적하고, 스키마 진화, 스냅샷 해석, 쿼리 계획과 관련된 문제를 진단하는 데 도움을 줘요. 이 테이블은 주로 디버깅 목적입니다.

Controlling log verbosity (로그 상세도 제어)

delta_lake_log_metadata 설정을 사용해 어떤 메타데이터 이벤트를 로깅할지 제어할 수 있어요. 현재 쿼리에서 사용된 모든 메타데이터를 로깅하려면:

SELECT * FROM my_delta_table SETTINGS delta_lake_log_metadata = 1;

SYSTEM FLUSH LOGS delta_lake_metadata_log;

SELECT *
FROM system.delta_lake_metadata_log
WHERE query_id = '{previous_query_id}';

언제든지 이 테이블을 잘라내거나 드롭해도 안전해요.

Columns (열)

• hostname (LowCardinality(String)) — 쿼리를 실행한 서버의 호스트 이름.
• clickhouse_version (LowCardinality(String)) — 행을 생성한 ClickHouse 서버의 버전.
• system_processor (LowCardinality(String)) — 행을 생성한 ClickHouse 서버의 CPU 아키텍처.
• event_date (Date) — 항목의 날짜.
• event_time (DateTime) — 이벤트 시간.
• query_id (String) — 쿼리 id.
• table_path (String) — 테이블 경로.
• file_path (String) — 파일 경로.
• content (String) — JSON 형식의 내용.