Pinot 관리 오프라인 흐름

Pinot 관리 오프라인 흐름 (Pinot Managed Offline Flows)

Pinot이 자체적으로 관리하는 오프라인 배치 적재 흐름(Managed Offline Flows)을 안내해요.

출처: 문서

본문

개요 (Overview)

Pinot Managed Offline Flows는 Minion과 컨트롤러가 배치 오프라인 적재의 세그먼트 생성·푸시 흐름을 자동으로 관리하는 기능이에요. 이를 활용하면 외부 오케스트레이션(Hadoop/Spark 잡 스케줄러) 없이도 Pinot 내부에서 오프라인 데이터 적재 파이프라인을 구성·실행할 수 있어요.

구성 (Configuration)

오프라인 테이블에서 managed offline flow를 활성화하면, 테이블 구성의 task 섹션에서 Segment Generation and Push Task를 예약해 데이터 적재를 자동화할 수 있어요.

동작 방식 (How it works)

Minion이 주기적으로 작업을 실행해 원본 데이터에서 세그먼트를 생성하고 푸시해요.
컨트롤러·Minion이 작업 스케줄링과 실행을 관리해요.
하이브리드 테이블의 오프라인 측과 연계해 시간 경계(Time boundary)를 전진시킬 수 있어요.

모범 사례 (Best practices)

배치 적재를 Spark/Hadoop 대신 Pinot 내부로 통합하고 싶을 때 사용하세요.
적재 빈도, 원본 데이터 위치, 세그먼트 크기 목표를 작업 구성에 명확히 설정하세요.