실시간 적재 중단
실시간 적재 중단 (Realtime Ingestion Stopped)
실시간 테이블의 적재(소비)가 멈추었을 때의 원인과 해결 방법을 안내해요.
출처: 문서
본문
개요 (Overview)
실시간 테이블의 소비가 중단되면 데이터가 계속 도착해도 Pinot에 반영되지 않아 쿼리가 낡은 상태를 보여요. 소비 중단의 원인을 파악하고 복구하는 방법을 알아봐요.
흔한 원인 (Common causes)
- ZooKeeper 또는 커밋 실패 — 세그먼트 커밋 프로토콜이 실패하면 소비가 멈출 수 있어요.
- Kafka 브로커 연결 문제 — Kafka에 접근하지 못하면 소비가 중단돼요.
- 서버 리소스 부족 — 메모리/디스크 부족으로 소비가 멈추거나 플러시가 실패할 수 있어요.
- 세그먼트 커밋 지연/실패 — 오프셋·커밋 반환 실패가 반복되면 소비가 멈춰요.
진단 (Diagnosis)
- 소비 래그 확인 —
pinot.server.realtimeConsumptionCatchupRatio와 Kafka 컨슈머 래그를 확인해요. - 서버 로그 확인 — 컨슈머·커밋 관련 오류와 예외를 확인해요.
- 세그먼트 커밋 확인 — 컨트롤러 로그에서 커밋 실패가 있는지 확인해요.
해결 방법 (Resolution)
- Kafka·ZooKeeper 연결을 복구하고 서버를 재시작해 소비를 재개해요.
- 공통 힌트가 있는지 Ingestion FAQ를 참고하세요.
- 반복적인 커밋 실패는 Pauseless Consumption 등 튜닝 옵션을 검토해요.