Iceberg 데이터 파일 임계값 관련 설정
Iceberg 데이터 파일 임계값 관련 설정
Iceberg 테이블의 컴팩션에 선택되는 데이터 파일의 크기 하한·상한 임계값을 제어하는 설정들이에요. rewrite_data_files 프로시저의 옵션을 유도하는 방식과 연관되어 있답니다. 이 설정들은 system.settings 테이블에서 확인할 수 있고 소스 코드에서 자동 생성된 값들이에요.
출처: 문서
본문
이 설정들은 system.settings에서 확인할 수 있고, 소스 코드에서 자동 생성된 값들이에요.
iceberg_data_file_size_lower_threshold_compaction
이보다 작은 데이터 파일은 컴팩션용으로 선택돼요. 기본값은 Iceberg 테이블 속성 write.target-file-size-bytes(512 MiB)의 문서화된 기본값의 0.75배예요. 이것이 rewrite_data_files 프로시저가 min-file-size-bytes 옵션을 유도하는 방식이에요. https://iceberg.apache.org/docs/1.5.2/configuration/ 참조.
iceberg_data_file_size_upper_threshold_compaction
이보다 큰 데이터 파일은 컴팩션용으로 선택돼요. 기본값은 Iceberg 테이블 속성 write.target-file-size-bytes(512 MiB)의 문서화된 기본값의 1.8배예요. 이것이 rewrite_data_files 프로시저가 max-file-size-bytes 옵션을 유도하는 방식이에요. https://iceberg.apache.org/docs/1.5.2/configuration/ 참조.