세그먼트 생성·푸시 작업
세그먼트 생성·푸시 작업 (Segment Generation and Push Task)
Minion의 세그먼트 생성·푸시(Segment Generation and Push) 작업을 안내해요.
출처: 문서
본문
개요 (Overview)
Segment Generation and Push 작업은 Minion이 원본 데이터 위치에서 세그먼트를 생성하고 이를 테이블에 푸시하는 작업이에요. 외부 적재 프레임워크(Hadoop/Spark) 없이도 Minion이 세그먼트 생성·푸시를 직접 수행할 수 있게 해줘요.
동작 방식 (How it works)
Minion은 작업 구성에서 지정된 입력 데이터(딥 스토어)를 읽고, 세그먼트를 생성한 뒤 이를 오프라인 테이블에 푸시해요. 별도의 외부 잡 러너 대신 Pinot이 내부적으로 세그먼트 생성과 푸시를 관리할 수 있어요.
구성 (Configuration)
테이블 구성의 task 섹션에서 작업을 구성할 수 있어요. 입력 데이터 위치, 세그먼트 생성 옵션, 푸시 동작이 작업 정의에 포함돼요.
사용 시점 (When to use)
- 독립 실행형 적재 작업 대신 Minion이 세그먼트 생성·푸시를 관리하게 하고 싶을 때.
- Pinot Managed Offline Flows의 일부로 배치 적재를 자동화할 때.