Iceberg 메타데이터 관련 설정
Iceberg 메타데이터 관련 설정
Iceberg 테이블의 메타데이터 파일 압축 방법, 메타데이터 로그 수준, 메타데이터 staleness 처리를 제어하는 설정들이에요. 디버깅 시 메타데이터 로그를 세밀하게 조정하는 데 유용하답니다. 이 설정들은 system.settings 테이블에서 확인할 수 있고 소스 코드에서 자동 생성된 값들이에요.
출처: 문서
본문
이 설정들은 system.settings에서 확인할 수 있고, 소스 코드에서 자동 생성된 값들이에요.
iceberg_metadata_compression_method
.metadata.json 파일을 압축하는 방법이에요.
iceberg_metadata_log_level
Iceberg 테이블의 메타데이터 로깅 수준을 system.iceberg_metadata_log로 제어해요. 보통 이 설정은 디버깅 목적으로 수정할 수 있어요.
가능한 값:
none— 메타데이터 로그 없음.metadata— 루트 metadata.json 파일.manifest_list_metadata— 위 전부 + 스냅샷에 해당하는 avro manifest list의 메타데이터.manifest_list_entry— 위 전부 + avro manifest list 항목들.manifest_file_metadata— 위 전부 + 순회된 avro manifest 파일의 메타데이터.manifest_file_entry— 위 전부 + 순회된 avro manifest 파일 항목들.
iceberg_metadata_staleness_ms
0이 아니면 주어진 staleness 창보다 더 최근의 캐시된 메타데이터 스냅샷이 있을 때 원격 카탈로그에서 iceberg 메타데이터를 가져오는 것을 건너뛰어요. 0은 항상 원격 카탈로그에서 최신 메타데이터 버전을 가져오는 것을 의미해요. 0이 아닌 값으로 설정하면 staleness와 읽기 작업의 더 낮은 지연 사이에서 트레이드오프하게 돼요.