Upsert 압축·병합 작업

Upsert 압축·병합 작업 (Upsert Compact Merge Task)

Minion의 Upsert Compact Merge 작업으로 upsert 테이블의 스테일 세그먼트를 압축·병합하는 방법을 안내해요.

출처: 문서

본문

개요 (Overview)

upsert 테이블은 시간이 지나면서 무효(스테일) 레코드를 쌓아요. Upsert Compact Merge 작업은 이 무효 레코드를 제거하면서(compact) 여러 세그먼트를 병합(merge)해, 세그먼트 수를 줄이고 저장 공간과 쿼리 성능을 개선해요.

동작 방식 (How it works)

Minion이 완료된 세그먼트 집합에서 무효 레코드를 제거하고, 남은 세그먼트를 병합·재작성해요. 병합(merge)과 압축(compact)을 결합해 정리와 압축을 한 작업으로 수행해요.

구성 (Configuration)

테이블 구성의 task 섹션에서 작업을 예약할 수 있어요:

"task": {
  "taskTypeConfigsMap": {
    "UpsertCompactMergeTask": {
      "schedule": "0 0 2 * * ?",
      "invalidRecordsThresholdPercent": "30",
      "invalidRecordsThresholdCount": "100000"
    }
  }
}

모범 사례 (Best practices)

무효 레코드가 쌓이는 빈도에 맞춰 주기적으로 실행하세요.
병합 대상 세그먼트를 선택하는 기준(시간 범위 등)을 워크로드에 맞게 설정하세요.