HDFS 엔진 테이블 관련 설정

HDFS 엔진 테이블 관련 설정

HDFS 엔진 테이블의 동작 방식을 제어하는 설정들이에요. 삽입 시 새 파일 생성 여부, 파일 없음 무시, 복제 수, 빈 파일 건너뛰기 등을 다룬답니다. 이 설정들은 system.settings 테이블에서 확인할 수 있고 소스 코드에서 자동 생성된 값들이에요.

출처: 문서

본문

이 설정들은 system.settings에서 확인할 수 있고, 소스 코드에서 자동 생성된 값들이에요.

hdfs_create_new_file_on_insert

HDFS 엔진 테이블에서 각 삽입마다 새 파일을 생성할지 여부를 활성화하거나 비활성화해요. 활성화하면 각 삽입마다 다음 패턴과 유사한 이름의 새 HDFS 파일이 생성돼요.

초기: data.Parquet.gz -> data.1.Parquet.gz -> data.2.Parquet.gz 등.

가능한 값:

  • 0 — INSERT 쿼리가 새 데이터를 파일 끝에 추가해요.
  • 1 — INSERT 쿼리가 새 파일을 만들어요.

hdfs_ignore_file_doesnt_exist

특정 키를 읽을 때 파일이 존재하지 않으면 그 부재를 무시해요.

가능한 값:

  • 1 — SELECT가 빈 결과를 반환해요.
  • 0 — SELECT가 예외를 던져요.

hdfs_replication

hdfs 파일이 생성될 때 실제 복제 수를 지정할 수 있어요.

hdfs_skip_empty_files

HDFS 엔진 테이블에서 빈 파일을 건너뛸지 여부를 활성화하거나 비활성화해요.

가능한 값:

  • 0 — 빈 파일이 요청된 포맷과 호환되지 않으면 SELECT가 예외를 던져요.
  • 1 — 빈 파일에 대해 SELECT가 빈 결과를 반환해요.

hdfs_throw_on_zero_files_match

glob 확장 규칙에 따라 일치하는 파일이 0개면 오류를 던져요.

가능한 값:

  • 1 — SELECT가 예외를 던져요.
  • 0 — SELECT가 빈 결과를 반환해요.

hdfs_truncate_on_insert

hdfs 엔진 테이블에서 삽입 전 잘라내기를 활성화하거나 비활성화해요. 비활성화하면 HDFS에 파일이 이미 존재할 때 삽입 시도 시 예외가 발생해요.

가능한 값:

  • 0 — INSERT 쿼리가 새 데이터를 파일 끝에 추가해요.
  • 1 — INSERT 쿼리가 파일의 기존 내용을 새 데이터로 대체해요.

더 알아보기 (Learn more)