스트림 수집
스트림 수집 (Stream Ingestion)
Pinot이 이벤트를 지속적으로 소비하고 새 행을 빠르게 노출해야 할 때 스트림 수집을 선택해요.
출처: Stream Ingestion
본문
스트림 수집은 Pinot을 진실 원본(source of truth)에 가깝게 유지해요. 행이 생성된 직후 쿼리 가능해야 하고, 주기적 배치 로드보다 꾸준한 흐름이 필요한 시스템에서 사용해요.
핵심 결정 (Core decisions)
- 스트림 커넥터와 파티셔닝 전략을 고르세요.
- Pinot이 세그먼트를 어떻게 플러시·커밋·완료할지 선택하세요.
- 테이블이 순수 실시간(realtime)으로 남을지 나중에 하이브리드(hybrid)가 될지 결정하세요.
가장 중요한 것
스트림이 선택한 소비 모드를 지원해야 해요. 테이블 설정은 파티셔닝, 복제본, 세그먼트 수명주기를 서버가 부하 아래에서 예측 가능하게 동작하도록 명확하게 기술해야 해요.
자세히 보기
Import Data와 데이터 수집 개요 (Data Ingestion Overview)의 기존 워크스루에 상세한 메커니즘이 여전히 담겨 있어요.
이 페이지가 다루는 내용
이 페이지는 스트림 수집 모델과 그 뒤의 주요 수명주기 선택들을 다뤘어요.
다음 단계
스트림이 중복 키를 제거하거나 최신 행만 유지해야 한다면 업서트와 중복 제거 (Upsert and Dedup)를 읽어 보세요.