세그먼트 갱신 작업
세그먼트 갱신 작업 (Refresh Segment Task)
Minion의 갱신(Refresh) 작업으로 세그먼트 데이터를 갱신하는 방법을 안내해요.
출처: 문서
본문
개요 (Overview)
Refresh Segment 작업은 오프라인 테이블의 세그먼트를 원본 데이터 소스(딥 스토어)에서 최신 상태로 다시 생성·교체하는 Minion 작업이에요. 원본 데이터가 갱신되었고 세그먼트를 재생성해 반영하고 싶을 때 사용해요.
동작 방식 (How it works)
갱신 작업은 오프라인 세그먼트의 메타데이터에 기록된 원본 데이터 URI를 확인하고, 원본이 변경된 경우 해당 세그먼트를 새로 생성해 교체해요. 이를 통해 전체 테이블을 다시 적재하지 않고도 변경된 세그먼트만 갱신할 수 있어요.
구성 (Configuration)
테이블 구성의 task 섹션에서 갱신 작업을 구성할 수 있어요. 원본 데이터 소스에서 각 세그먼트의 갱신 여부를 판단하는 데 활용되는 메타데이터가 필요해요.
사용 시점 (When to use)
- 원본 데이터 파일이 주기적으로 갱신되고 변경된 세그먼트만 다시 생성하고 싶을 때.
- 전체 재적재 대신 변경 부분만 반영해 비용을 줄이고자 할 때.