Parquet 포맷

Parquet 포맷 (Parquet Format)

포맷: 직렬화 스키마 / 역직렬화 스키마. Apache Parquet 포맷은 Parquet 데이터를 읽고 쓸 수 있게 해줘요.

출처: 문서

본문

의존성 (Dependencies)

Parquet 포맷을 사용하려면 빌드 자동화 도구(Maven 또는 SBT)를 사용하는 프로젝트와 SQL JAR 번들이 있는 SQL Client 모두 다음 의존성이 필요해요.

<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-parquet</artifactId>
<version>2.3.0</version>
</dependency>

Parquet 포맷으로 테이블 만들기 (How to create a table with Parquet format)

Filesystem 커넥터와 Parquet 포맷을 사용해 테이블을 만드는 예제예요.

CREATE TABLE user_behavior (
user_id BIGINT,
item_id BIGINT,
category_id BIGINT,
behavior STRING,
ts TIMESTAMP(3),
dt STRING
) PARTITIONED BY (dt) WITH (
'connector' = 'filesystem',
'path' = '/tmp/user_behavior',
'format' = 'parquet'
)

포맷 옵션 (Format Options)

Parquet 포맷은 ParquetOutputFormat의 구성도 지원해요. 예를 들어 parquet.compression=GZIP을 구성해 gzip 압축을 켤 수 있어요.

데이터 타입 매핑 (Data Type Mapping)

현재 Parquet 포맷 타입 매핑은 Apache Hive와 호환되지만 기본적으로 Apache Spark와는 호환되지 않아요:

• Timestamp: 정밀도와 무관하게 타임스탬프 타입을 int96으로 매핑해요.
• Spark 호환성은 write.int64.timestamp 구성 옵션을 통한 int64가 필요해요(위 참고).
• Decimal: 소수점 정밀도에 따라 decimal 타입을 고정 길이 바이트 배열로 매핑해요.

다음 표는 Flink 타입에서 Parquet 타입으로의 매핑을 나열해요.

더 알아보기 (Learn more)

• 포맷 개요
• Filesystem 커넥터
• Apache ORC 포맷