HBase SQL 커넥터

HBase SQL 커넥터

HBase 커넥터는 HBase 클러스터에서 데이터를 읽고 쓸 수 있게 해줘요. 이 문서는 HBase 커넥터를 설정해 HBase에 대해 SQL 쿼리를 실행하는 방법을 설명해요.

출처: 문서

본문

HBase는 항상 upsert 모드로 동작하며, DDL에 정의된 기본 키를 사용해 외부 시스템과 changelog 메시지를 교환해요. 기본 키는 HBase rowkey 필드에 정의되어야 해요(rowkey 필드는 선언되어야 함). PRIMARY KEY 절이 선언되지 않으면, HBase 커넥터는 기본적으로 rowkey를 기본 키로 취급해요.

의존성 (Dependencies)

현재 Flink 2.3 버전용 커넥터는 아직 제공되지 않아요.

HBase 커넥터는 바이너리 배포판의 일부가 아니에요. 클러스터 실행을 위한 링크 방법은 여기를 참조하세요.

HBase 테이블 사용 방법 (How to use HBase table)

HBase 테이블의 모든 컬럼 패밀리(column family)는 ROW 타입으로 선언되어야 해요. 필드 이름은 컬럼 패밀리 이름에 매핑되고, 중첩 필드 이름은 컬럼 퀄리파이어(column qualifier) 이름에 매핑돼요. 스키마에 모든 패밀리와 퀄리파이어를 선언할 필요는 없으며, 사용자는 쿼리에서 사용되는 것만 선언할 수 있어요. ROW 타입 필드를 제외한 단일 원자(atomic) 타입 필드(예: STRING, BIGINT)는 HBase rowkey로 인식돼요. rowkey 필드는 임의의 이름이 될 수 있지만, 예약 키워드라면 백틱을 사용해 인용해야 해요.

-- register the HBase table 'mytable' in Flink SQL
CREATE TABLE hTable (
 rowkey INT,
 family1 ROW<q1 INT>,
 family2 ROW<q2 STRING, q3 BIGINT>,
 family3 ROW<q4 DOUBLE, q5 BOOLEAN, q6 STRING>,
 PRIMARY KEY (rowkey) NOT ENFORCED
) WITH (
 'connector' = 'hbase-2.2',
 'table-name' = 'mytable',
 'zookeeper.quorum' = 'localhost:2181'
);

-- use ROW(...) construction function construct column families and write data into the HBase table.
-- assuming the schema of "T" is [rowkey, f1q1, f2q2, f2q3, f3q4, f3q5, f3q6]
INSERT INTO hTable
SELECT rowkey, ROW(f1q1), ROW(f2q2, f2q3), ROW(f3q4, f3q5, f3q6) FROM T;

-- scan data from the HBase table
SELECT rowkey, family1, family3.q4, family3.q6 FROM hTable;

-- temporal join the HBase table as a dimension table
SELECT * FROM myTopic
LEFT JOIN hTable FOR SYSTEM_TIME AS OF myTopic.proctime
ON myTopic.key = hTable.rowkey;

사용 가능한 메타데이터 (Available Metadata)

다음 커넥터 메타데이터는 테이블 정의에서 메타데이터 컬럼으로 접근할 수 있어요.

R/W 컬럼은 메타데이터 필드가 읽기 가능(R) 및/또는 쓰기 가능(W)인지 정의해요. 읽기 전용 컬럼은 INSERT INTO 연산 중에 제외되도록 VIRTUAL로 선언해야 해요.

커넥터 옵션 (Connector Options)

비권장 옵션 (Deprecated Options)

이 비권장 옵션들은 위에 나열된 새 옵션으로 대체되었으며 결국 제거될 거예요. 새 옵션을 먼저 사용하는 것을 고려하세요.

데이터 타입 매핑 (Data Type Mapping)

HBase는 모든 데이터를 바이트 배열(byte arrays)로 저장해요. 데이터는 읽기와 쓰기 연산 중에 직렬화/역직렬화되어야 해요.

직렬화와 역직렬화 시 Flink HBase 커넥터는 HBase(Hadoop)에서 제공하는 유틸리티 클래스 org.apache.hadoop.hbase.util.Bytes를 사용해 Flink 데이터 타입을 바이트 배열로 변환하고 그 반대로도 변환해요.

Flink HBase 커넥터는 문자열 타입을 제외한 모든 데이터 타입에 대해 null 값을 빈 바이트로 인코딩하고, 빈 바이트를 null 값으로 디코딩해요. 문자열 타입의 경우 null 리터럴은 null-string-literal 옵션에 의해 결정돼요.

데이터 타입 매핑은 다음과 같아요:

더 알아보기 (Learn more)

• SQL & Table API 커넥터 개요
• HBase 공식 문서
• Temporal Join