세그먼트 작업 스로틀링
세그먼트 작업 스로틀링 (Segment Operations Throttling)
Pinot에서 세그먼트 관련 작업의 스로틀링(throttling)을 구성하는 방법을 안내해요.
출처: 문서
본문
개요 (Overview)
Pinot 컨트롤러는 리밸런스, 세그먼트 푸시, Minion 작업 등 세그먼트 관련 작업을 수행해요. 이런 작업이 동시에 과도하게 실행되면 컨트롤러·서버·시스템 리소스에 부담을 줘 쿼리 성능에 영향을 줄 수 있어요. 스로틀링을 구성해 이런 작업의 동시 실행 수와 속도를 제어할 수 있어요.
구성 (Configuration)
세그먼트 작업 스로틀링은 컨트롤러 구성에서 설정할 수 있어요. 관련 구성에는 동시 작업 수 제한, 작업 간 지연, 배치 크기 등이 포함돼요.
모범 사례 (Best practices)
- 대규모 클러스터에서 많은 세그먼트를 한 번에 푸시하거나 리밸런스할 때 스로틀링이 유용해요.
- 스로틀링은 작업 완료 시간을 늘릴 수 있으므로 운영 요구와의 균형을 고려하세요.
- 리밸런스 중 다운타임을 피하려면 무중단 리밸런스 옵션과 함께 사용하세요.