DataGen SQL 커넥터

DataGen SQL 커넥터 (DataGen SQL Connector)

스캔 소스: 유한(Bounded) / 무한(UnBounded)

DataGen 커넥터는 인메모리 데이터 생성에 기반한 테이블을 만들 수 있게 해줍니다. Kafka 같은 외부 시스템에 접근하지 않고 로컬에서 쿼리를 개발할 때 유용합니다. 테이블은 계산된 컬럼(Computed Column) 문법을 포함할 수 있어 유연한 레코드 생성을 지원합니다.

DataGen 커넥터는 내장(built-in)되어 있어 추가 의존성이 필요하지 않습니다.

출처: 문서

본문

사용법 (Usage)

기본적으로 DataGen 테이블은 각 컬럼에 무작위 값을 갖는 무한 개수의 행을 만듭니다. 또한 총 행 수를 지정하면 유한 테이블을 만들 수 있습니다.

DataGen 커넥터는 정의된 스키마에 부합하는 데이터를 생성할 수 있습니다. 길이 제약이 있는 필드는 다음과 같이 처리됩니다:

• 고정 길이 데이터 타입 (char/binary): 필드 길이는 스키마로만 정의할 수 있으며 커스터마이징을 지원하지 않습니다.
• 가변 길이 데이터 타입 (varchar/varbinary): 필드 길이는 처음에 스키마로 정의되며, 커스터마이즈한 길이는 스키마 정의보다 클 수 없습니다.
• 초장(超長) 필드 (string/bytes): 기본 길이는 100이며, 2^31보다 작은 길이로 설정할 수 있습니다.

또한 사용자가 시작값과 끝값의 시퀀스를 지정하는 시퀀스 생성기도 있습니다. 테이블의 어떤 컬럼이든 시퀀스 타입이면 테이블은 유한해지고 첫 번째 시퀀스가 완료되면 끝납니다.

시간 타입은 항상 로컬 머신의 현재 시스템 시간입니다.

CREATE TABLE Orders (
    order_number BIGINT,
    price        DECIMAL(32,2),
    buyer        ROW<first_name STRING, last_name STRING>,
    order_time   TIMESTAMP(3)
) WITH (
  'connector' = 'datagen'
)

종종 데이터 생성 커넥터는 실제 물리 테이블을 목(mock) 처리하기 위해 LIKE 절과 함께 사용됩니다.

CREATE TABLE Orders (
    order_number BIGINT,
    price        DECIMAL(32,2),
    buyer        ROW<first_name STRING, last_name STRING>,
    order_time   TIMESTAMP(3)
) WITH (...)

-- create a bounded mock table
CREATE TEMPORARY TABLE GenOrders
WITH (
    'connector' = 'datagen',
    'number-of-rows' = '10'
)
LIKE Orders (EXCLUDING ALL)

또한 가변 크기 타입(varchar/string/varbinary/bytes)의 경우 가변 길이 데이터 생성을 활성화할지 지정할 수 있습니다.

CREATE TABLE Orders (
    order_number BIGINT,
    price        DECIMAL(32,2),
    buyer        ROW<first_name STRING, last_name STRING>,
    order_time   TIMESTAMP(3),
    seller       VARCHAR(150)
) WITH (
  'connector' = 'datagen',
  'fields.seller.var-len' = 'true'
)

컬렉션의 경우 서로 다른 크기의 컬렉션을 지정할 수 있습니다.

CREATE TABLE Orders (
    f0 Array<INT>,
    f1 Map<INT, STRING>,
    f2 MULTISET<INT>
) WITH (
  'connector' = 'datagen',
  'fields.f0.length' = '10',
  'fields.f1.length' = '11',
  'fields.f2.length' = '12'
);

타입 (Types)

커넥터 옵션 (Connector Options)

더 알아보기 (Learn more)

• Table Connectors Overview
• CREATE TABLE DDL
• LIKE Clause