처리 커넥터
처리 커넥터 (Processing connectors)
배치 및 스트리밍 파이프라인에서 Flink와 Spark를 사용해 Pinot에 읽거나 쓸 수 있어요.
Pinot가 더 큰 Flink 또는 Spark 작업의 일부이고 데이터 이동이 그 처리 프레임워크 안에 유지되어야 할 때 처리 커넥터를 사용해요. 이러한 커넥터는 읽기 또는 쓰기 통합용이며, 문서의 다른 곳에서 다루는 더 간단한 수집 흐름용이 아니에요.
출처: 문서
본문
여기에 속하는 것
| Connector | Best for | Notes |
|---|---|---|
| Flink connector | Pinot에 쓰는 스트리밍 또는 배치 작업 | 현재 안내는 PinotSinkFunction, offline 및 realtime 테이블 지원, upsert 부트스트래핑을 중심으로 함. |
| Spark-Pinot connector | Pinot에서 읽거나 쓰는 Spark 작업 | 현재 안내는 분산 스캔, 컬럼 및 필터 푸시다운, SQL 지원, gRPC 스트리밍 읽기, 보안 연결을 다룸. |
선택 방법
Pinot 쓰기가 더 넓은 Flink DAG 안의 한 스테이지이고 Pinot sink가 enrichment나 윈도잉 로직에 참여해야 하면 Flink를 선택하세요. Pinot가 Spark SQL 또는 DataFrame 워크플로우와 읽기, 쓰기, 하이브리드 파이프라인에 통합되기를 원하면 Spark를 선택하세요.
주로 Pinot에 데이터를 로드하는 것이 목표라면 처리 커넥터 대신 수집 안내부터 시작하세요. Pinot와 처리 프레임워크 사이에서 데이터를 이동하는 것이 목표라면 여기(processing connector)가 올바른 곳이에요.