JSON 포맷

JSON 포맷 (JSON Format)

JSON 포맷은 JSON 스키마에 기반해 JSON 데이터를 읽고 쓸 수 있게 해주는 직렬화/역직렬화 스키마 포맷이에요. 현재 JSON 스키마는 테이블 스키마에서 파생돼요.

출처: 문서

본문

JSON 포맷은 retract 스트림 및/또는 upsert 스트림을 명시적으로 지원하는 커넥터(예: Upsert Kafka 커넥터)를 사용하지 않는 한 append-only 스트림을 지원해요. retract 스트림 및/또는 upsert 스트림을 써야 한다면, Debezium JSON, Canal JSON 같은 CDC JSON 포맷을 살펴보는 것을 권장해요.

의존성 (Dependencies)

JSON 포맷을 사용하려면 빌드 자동화 도구(예: Maven 또는 SBT)를 사용하는 프로젝트와 SQL JAR 번들을 사용하는 SQL Client 양쪽 모두에서 다음 의존성이 필요해요.

  org.apache.flink
  flink-json
  2.3.0

JSON 포맷으로 테이블 생성하기

Kafka 커넥터와 JSON 포맷을 사용해 테이블을 생성하는 예시예요.

CREATE TABLE user_behavior (
  user_id BIGINT,
  item_id BIGINT,
  category_id BIGINT,
  behavior STRING,
  ts TIMESTAMP(3)
) WITH (
 'connector' = 'kafka',
 'topic' = 'user_behavior',
 'properties.bootstrap.servers' = 'localhost:9092',
 'properties.group.id' = 'testGroup',
 'format' = 'json',
 'json.fail-on-missing-field' = 'false',
 'json.ignore-parse-errors' = 'true'
)

포맷 옵션 (Format Options)

데이터 타입 매핑 (Data Type Mapping)

현재 JSON 스키마는 항상 테이블 스키마에서 파생돼요. JSON 스키마를 명시적으로 정의하는 것은 아직 지원되지 않아요. Flink JSON 포맷은 JSON 문자열을 파싱하고 생성하기 위해 jackson databind API를 사용해요.

다음 표는 Flink 타입에서 JSON 타입으로의 타입 매핑을 나열해요.

기능 (Features)

최상위 JSON 배열 허용 (Allow top-level JSON Arrays)

보통 우리는 JSON 문자열의 최상위가 문자열화된 JSON 객체라고 가정해요. 그러면 이 문자열화된 JSON 객체는 하나의 SQL 행으로 변환될 수 있어요.

JSON 문자열의 최상위가 문자열화된 JSON 배열이고, 그 배열을 여러 레코드로 확장(explode)하고 싶은 경우가 있어요. 배열 안의 각 요소는 JSON 객체이고, 그러한 각 JSON 객체의 스키마는 SQL에 정의된 것과 같으며, 각 JSON 객체는 하나의 행으로 변환될 수 있어요. Flink JSON 포맷은 그러한 데이터 읽기를 지원해요.

예를 들어 다음 SQL DDL에 대해:

CREATE TABLE user_behavior (
  col1 BIGINT,
  col2 VARCHAR
) WITH (
 'format' = 'json',
 ...
)

Flink JSON 포맷은 다음 두 JSON 문자열 모두에 대해 (123, "a")와 (456, "b") 두 행을 생성해요.

최상위가 JSON 배열인 경우:

[{"col1": 123, "col2": "a"}, {"col1": 456, "col2": "b"}]

최상위가 JSON 객체인 경우:

{"col1": 123, "col2": "a"}
{"col1": 456, "col2": "b"}

더 알아보기 (Learn more)

• Table 포맷 개요
• CSV 포맷
• Debezium JSON