업서트와 중복 제거

업서트와 중복 제거 (Upsert and Dedup)

수집된 행이 모든 이벤트를 보존하는 대신 키당 하나의 현재 레코드로 접힐 때 업서트나 중복 제거를 사용해요.

출처: Upsert and Dedup

업서트(upsert)와 중복 제거(dedup)는 반복되는 키를 수집하는 테이블을 위한 거예요. 현재 값이 원시 이벤트 히스토리보다 중요할 때, 또는 중복 이벤트가 중복 쿼리 결과로 퍼지면 안 될 때 사용해요.

같은 기본 키에 대해 더 새로운 행이 더 오래된 행을 교체해야 할 때 업서트를 사용해요.

반복되는 레코드를 걸러내고 첫 번째 또는 고유한 표현만 남겨야 할 때 중복 제거를 사용해요.

이 패턴들은 신중한 스키마, 안정적인 기본 키, 그리고 Pinot이 결과를 일관성 있게 유지하는 데 사용하는 테이블 수준 메타데이터를 이해하는 수집 흐름이 필요해요.

가장 자세한 내용은 여전히 Upsert and Dedup의 원본 문서에 있어요.

이 페이지는 업서트와 중복 제거의 차이와 각각이 언제 더 적합한지 다뤘어요.

Pinot이 소스 데이터를 읽고 생성된 세그먼트를 저장하는 방법을 결정하려면 포맷과 파일시스템 (Formats and Filesystems)을 읽어 보세요.