SQL 메타데이터 테이블

Druid의 시스템 테이블인 INFORMATION_SCHEMA와 sys 스키마를 소개해요. 각 데이터소스의 테이블·컬럼 메타데이터와 Druid 내부(segment/task/server) 정보를 SQL로 조회하는 방법을 설명해요.

출처: 문서

본문

Apache Druid는 Druid SQL과 native 쿼리 두 가지 쿼리 언어를 지원해요. 이 문서는 SQL 언어를 설명해요.

Druid Broker는 클러스터에 로드된 segment에서 각 데이터소스의 테이블·컬럼 메타데이터를 추론하고, 이를 사용해 SQL 쿼리를 계획해요. 이 메타데이터는 Broker 시작 시 캐시되고, SegmentMetadata 쿼리를 통해 백그라운드에서 주기적으로 갱신돼요. 백그라운드 메타데이터 갱신은 segment의 클러스터 진입·이탈에 의해 트리거되며, 구성(configuration)을 통해 조절(throttle)할 수도 있어요.

Druid는 특수한 시스템 테이블을 통해 시스템 정보를 노출해요. 사용 가능한 스키마는 두 가지가 있어요: Information Schema와 Sys Schema예요. Information schema는 테이블과 컬럼 타입에 대한 세부 정보를 제공하고, "sys" 스키마는 segment/task/server 같은 Druid 내부 정보를 제공해요.

INFORMATION SCHEMA

JDBC에서 connection.getMetaData() 를 사용하거나, 아래 설명하는 INFORMATION_SCHEMA 테이블을 통해 테이블·컬럼 메타데이터에 접근할 수 있어요. 예를 들어 Druid 데이터소스 "foo"의 메타데이터를 가져오려면 다음 쿼리를 사용해요:

SELECT *FROM INFORMATION_SCHEMA.COLUMNSWHERE "TABLE_SCHEMA" = 'druid' AND "TABLE_NAME" = 'foo'

참고: INFORMATION_SCHEMA 테이블은 현재 TIME_PARSE 나 APPROX_QUANTILE_DS 같은 Druid 전용 함수를 지원하지 않아요. 표준 SQL 함수만 사용할 수 있어요.

SCHEMATA 테이블

INFORMATION_SCHEMA.SCHEMATA는 알려진 모든 스키마의 목록을 제공해요. 여기에는 표준 Druid Table 데이터소스용 druid , Lookups용 lookup , 가상 System 메타데이터 테이블용 sys , 그리고 이 가상 테이블들용 INFORMATION_SCHEMA 가 포함돼요. 서로 다른 스키마에서 테이블 이름이 같을 수 있으므로, SQL 문장에 스키마를 포함해 구분할 수 있어요. 예: lookup.table 대 druid.table .

TABLES 테이블

INFORMATION_SCHEMA.TABLES는 알려진 모든 테이블과 스키마의 목록을 제공해요.

COLUMNS 테이블

INFORMATION_SCHEMA.COLUMNS는 모든 테이블과 스키마의 모든 알려진 컬럼 목록을 제공해요.

예를 들어, 다음 쿼리는 foo 테이블 컬럼의 데이터 타입 정보를 반환해요:

SELECT "ORDINAL_POSITION", "COLUMN_NAME", "IS_NULLABLE", "DATA_TYPE", "JDBC_TYPE"FROM INFORMATION_SCHEMA.COLUMNSWHERE "TABLE_NAME" = 'foo'

ROUTINES 테이블

INFORMATION_SCHEMA.ROUTINES는 알려진 모든 함수의 목록을 제공해요.

예를 들어, 다음 쿼리는 모든 집계 함수에 대한 정보를 반환해요:

SELECT "ROUTINE_CATALOG", "ROUTINE_SCHEMA", "ROUTINE_NAME", "ROUTINE_TYPE", "IS_AGGREGATOR", "SIGNATURES"FROM "INFORMATION_SCHEMA"."ROUTINES"WHERE "IS_AGGREGATOR" = 'YES'

SYSTEM SCHEMA

"sys" 스키마는 Druid의 segment, server, task를 들여다볼 수 있게 해줘요.

참고: "sys" 테이블은 현재 TIME_PARSE 나 APPROX_QUANTILE_DS 같은 Druid 전용 함수를 지원하지 않아요. 표준 SQL 함수만 사용할 수 있어요.

SEGMENTS 테이블

Segments 테이블은 아직 게시(publish)되었는지 여부와 관계없이 모든 Druid segment에 대한 세부 정보를 제공해요.

예를 들어, 데이터소스 "wikipedia"의 현재 활성 segment를 모두 가져오려면 다음 쿼리를 사용해요:

SELECT * FROM sys.segmentsWHERE datasource = 'wikipedia'AND is_active = 1

데이터소스별 segment total_size, avg_size, avg_num_rows와 num_segments를 가져오는 또 다른 예시:

SELECT    datasource,    SUM("size") AS total_size,    CASE WHEN SUM("size") = 0 THEN 0 ELSE SUM("size") / (COUNT(*) FILTER(WHERE "size" > 0)) END AS avg_size,    CASE WHEN SUM(num_rows) = 0 THEN 0 ELSE SUM("num_rows") / (COUNT(*) FILTER(WHERE num_rows > 0)) END AS avg_num_rows,    COUNT(*) AS num_segmentsFROM sys.segmentsWHERE is_active = 1GROUP BY 1ORDER BY 2 DESC

이 쿼리는 한 단계 더 나아가, foo 데이터소스에 대해 각 백만 행 버킷별 사용 가능하고 실시간이 아닌 segment의 전체 프로필을 보여줘요:

SELECT ABS("num_rows" /  1000000) as "bucket",  COUNT(*) as segments,  SUM("size") / 1048576 as totalSizeMiB,  MIN("size") / 1048576 as minSizeMiB,  AVG("size") / 1048576 as averageSizeMiB,  MAX("size") / 1048576 as maxSizeMiB,  SUM("num_rows") as totalRows,  MIN("num_rows") as minRows,  AVG("num_rows") as averageRows,  MAX("num_rows") as maxRows,  (AVG("size") / AVG("num_rows"))  as avgRowSizeBFROM sys.segmentsWHERE is_available = 1 AND is_realtime = 0 AND "datasource" = `foo`GROUP BY 1ORDER BY 1

압축된(compaction, 어떤 것이든) segment를 가져오려면:

SELECT * FROM sys.segments WHERE is_active = 1 AND last_compaction_state IS NOT NULL

또는 특정 compaction spec(예: 자동 압축)에 의해서만 압축된 segment를 가져오려면:

SELECT * FROM sys.segments WHERE is_active = 1 AND last_compaction_state = 'CompactionState{partitionsSpec=DynamicPartitionsSpec{maxRowsPerSegment=5000000, maxTotalRows=9223372036854775807}, indexSpec={bitmap={type=roaring}, dimensionCompression=lz4, metricCompression=lz4, longEncoding=longs, segmentLoader=null}}'

SERVERS 테이블

Servers 테이블은 클러스터에서 발견된 모든 서버를 나열해요.

모든 서버에 대한 정보를 가져오려면 다음 쿼리를 사용해요:

SELECT * FROM sys.servers;

SERVER_SEGMENTS 테이블

SERVER_SEGMENTS는 servers 테이블과 segments 테이블을 join하는 데 사용돼요.

"servers"와 "segments" 간의 JOIN을 사용해 특정 데이터소스의 segment 수를 서버별로 그룹화해 쿼리할 수 있어요. 예시:

SELECT count(segments.segment_id) as num_segments from sys.segments as segmentsINNER JOIN sys.server_segments as server_segmentsON segments.segment_id  = server_segments.segment_idINNER JOIN sys.servers as serversON servers.server = server_segments.serverWHERE segments.datasource = 'wikipedia'GROUP BY servers.server;

TASKS 테이블

tasks 테이블은 활성 task와 최근 완료된 task에 대한 정보를 제공해요. 자세한 내용은 ingestion tasks 문서를 참고해요.

예를 들어, 상태로 필터링된 task 정보를 가져오려면 다음 쿼리를 사용해요:

SELECT * FROM sys.tasks WHERE status='FAILED';

SUPERVISORS 테이블

supervisors 테이블은 supervisor에 대한 정보를 제공해요.

예를 들어, 건강 상태로 필터링된 supervisor task 정보를 가져오려면 다음 쿼리를 사용해요:

SELECT * FROM sys.supervisors WHERE healthy=0;

SERVER_PROPERTIES 테이블

server_properties 테이블은 각 Druid 서버에 구성된 runtime properties를 노출해요. 각 행은 특정 서버와 연결된 단일 속성 키-값 쌍을 나타내요.

예를 들어, 특정 서버의 속성을 가져오려면 다음 쿼리를 사용해요:

SELECT * FROM sys.server_properties WHERE server='192.168.1.1:8081'

QUERIES 테이블

sys.queries 테이블은 실험적 기능이에요. Broker 프로세스에서 runtime property druid.sql.planner.enableSysQueriesTable=true 를 설정해 활성화해야 해요. 이 테이블이 실험적인 주된 이유는, 역시 실험적인 Dart 엔진의 쿼리만 보여주기 때문이에요.

queries 테이블은 현재 실행 중이거나 최근 완료된 SQL 쿼리에 대한 정보를 제공해요.

예를 들어, 최근 완료된 모든 Dart 쿼리를 가져오려면:

SELECT *FROM sys.queriesWHERE  engine = 'msq-dart'  AND state IN ('SUCCESS', 'FAILED', 'CANCELED')

완료된 쿼리 정보의 보존은 Dart controller 구성에 의해 제어돼요. 완료된 쿼리가 얼마나 오래 보존되는지에 대한 자세한 내용은 druid.msq.dart.controller.maxRetainedReportCount 와 druid.msq.dart.controller.maxRetainedReportDuration 을 참고해요.

더 알아보기 (Learn more)

Druid SQL 개요 — SQL 기능 전반
Segment lifecycle 문서 — segment 상태 이해하기
Ingestion tasks 문서 — task 유형과 상태