수집 구성

수집 구성 (Ingestion Configuration)

Apache Pinot 수집(ingestion) 구성 레퍼런스 문서예요.

출처: 문서

본문

ingestionConfig는 테이블 구성의 최상위 필드 중 하나로, 데이터 수집 관련 속성을 정의해요. 여기에는 배치 수집, stream 수집, 필터링, 변환, 복합 타입 처리 설정이 포함돼요.

ingestionConfig

batchIngestionConfig

배치 수집을 앞단에서 실행하고 세그먼트를 Pinot으로 push하는 데 사용돼요.

예시:

"batchIngestionConfig": {
  "segmentIngestionType": "APPEND",
  "segmentIngestionFrequency": "DAILY",
  "batchConfigMaps": [
    {
      "inputDirURI": "s3://my-bucket/baseballStats/rawdata",
      "includeFileNamePattern": "glob:**/*.csv",
      "excludeFileNamePattern": "glob:**/*.tmp",
      "inputFormat": "csv",
      "outputDirURI": "s3://my-bucket/baseballStats/segments",
      "input.fs.className": "org.apache.pinot.plugin.filesystem.S3PinotFS",
      "input.fs.prop.region": "us-west-2",
      "input.fs.prop.accessKey": "${AWS_ACCESS_KEY}",
      "input.fs.prop.secretKey": "${AWS_SECRET_KEY}",
      "push.mode": "tar"
    }
  ],
  "segmentNameSpec": {},
  "pushSpec": {}
}

filterConfig

수집 중 레코드를 필터링해 특정 조건에 맞는 레코드만 세그먼트에 포함시켜요.

예시:

"filterConfig": {
  "filterFunction": "Groovy({foo == \"VALUE1\"}, foo)"
}

transformConfigs

수집 중 컬럼을 변환하는 함수 목록이에요. columnName과 transformFunction 쌍으로 지정해요.

예시:

"transformConfigs": [
  {
    "columnName": "bar",
    "transformFunction": "lower(moo)"
  },
  {
    "columnName": "hoursSinceEpoch",
    "transformFunction": "toEpochHours(millis)"
  }
]

변환 함수 목록은 변환 (Transformations)을 참고하세요.

streamIngestionConfig

스트림 수집(실시간 테이블) 관련 구성이에요. Kafka, Kinesis, Pulsar 등 stream type별 설정을 streamConfigMaps로 정의해요.

예시:

"streamIngestionConfig": {
  "streamConfigMaps": [
    {
      "realtime.segment.flush.threshold.rows": "0",
      "realtime.segment.flush.threshold.time": "24h",
      "realtime.segment.flush.threshold.segment.size": "150M",
      "stream.kafka.broker.list": "XXXX",
      "stream.kafka.consumer.factory.class.name": "org.apache.pinot.plugin.stream.kafka30.KafkaConsumerFactory",
      "stream.kafka.consumer.prop.auto.offset.reset": "largest",
      "stream.kafka.decoder.class.name": "org.apache.pinot.plugin.inputformat.json.JSONMessageDecoder",
      "stream.kafka.decoder.prop.schema.registry.rest.url": "XXXX",
      "stream.kafka.decoder.prop.schema.registry.schema.name": "XXXX",
      "stream.kafka.topic.name": "XXXX",
      "streamType": "kafka"
    }
  ]
}

전체 stream config 키 목록은 스트림 수집 (Stream ingestion) 페이지를 참고하세요.

complexTypeConfig

복합 타입(MAP, OPEN_STRUCT, LIST) 컬럼 처리 구성을 정의해요.

streamConfigs (deprecated)

streamConfigs 섹션은 릴리스 0.7.0부터 deprecated됐으며, streamIngestionConfig.streamConfigMaps를 사용하세요.

더 알아보기 (Learn more)

• 테이블 구성 (Table)
• 스트림 수집 (Stream ingestion)
• 변환 (Transformations)
• 수집 Job Spec