스키마 추론 포맷 설정

스키마 추론 포맷 설정 (schema_inference format settings)

이 페이지는 스키마 추론과 관련된 자동 생성 설정을 다루는 문서예요. 추론 힌트로 사용할 열 이름·타입 목록, 추론 타입을 Nullable로 만들지 여부, 추론 모드 등을 설정하는 항목입니다.

출처: 문서

이 설정들은 source에서 자동 생성됩니다.

스키마가 없는 포맷의 스키마 추론에서 힌트로 사용할 열 이름과 타입 목록이에요. Example: Query:

desc format(JSONEachRow, '{"x" : 1, "y" : "String", "z" : "0.0.0.0" }') settings schema_inference_hints='x UInt8, z IPv4';

Result:

x   UInt8
y   Nullable(String)
z   IPv4

schema_inference_hints가 제대로 형식화되지 않았거나, 오타가 있거나, 잘못된 데이터 타입인 경우 등에는 전체 schema_inference_hints가 무시됩니다.

스키마 추론에서 추론된 타입을 Nullable로 만들지 여부를 제어해요. 가능한 값:

0 — 추론된 타입은 절대 Nullable이 되지 않아요(이 경우 null 값으로 무엇을 할지 제어하려면 input_format_null_as_default를 사용하세요),
1 — 모든 추론된 타입이 Nullable이 돼요,
2 또는 auto — 열이 스키마 추론 중 파싱된 샘플에 NULL을 포함하거나 파일 메타데이터에 열의 null 가능성에 대한 정보가 있으면 추론된 타입이 Nullable이 돼요,
3 — 포맷이 파일 메타데이터를 가진 경우(예: Parquet) 추론된 타입의 null 가능성이 파일 메타데이터와 일치하고, 그렇지 않은 경우(예: CSV) 항상 Nullable이 돼요.

스키마 추론에서 추론된 JSON 타입을 Nullable로 만들지 여부를 제어해요. 이 설정이 schema_inference_make_columns_nullable와 함께 활성화되면 추론된 JSON 타입은 Nullable이 됩니다.

스키마 추론의 모드예요. ‘default’ — 모든 파일이 같은 스키마를 가지며 어떤 파일에서든 스키마를 추론할 수 있다고 가정. ‘union’ — 파일들이 서로 다른 스키마를 가질 수 있으며 결과 스키마는 모든 파일 스키마의 합집합이 되어야 함.