RabbitMQ superstream 수집

RabbitMQ superstream 수집

druid-rabbit-indexing-service 커뮤니티 확장을 이용하면 RabbitMQ super-stream에서 데이터를 수집할 수 있어요. Overlord에 supervisor를 구성해 RabbitMQ 인덱싱 태스크의 생성과 수명을 관리하는 구조예요.

출처: 문서

본문

Rabbit 스트림 인덱싱 서비스는 Overlord에 supervisor를 구성해서 RabbitMQ 인덱싱 태스크의 생성과 수명을 관리할 수 있게 해줘요. 이 인덱싱 태스크들은 rabbit super-stream에서 이벤트를 읽어요. supervisor는 인덱싱 태스크의 상태를 감독해서 다음을 수행해요.

• handoff 조정
• 실패 관리
• Druid가 확장성과 복제 요구 사항을 유지하도록 보장

Rabbit 스트림 인덱싱 서비스를 사용하려면 druid-rabbit-indexing-service 커뮤니티 druid 확장을 로드해 주세요. 자세한 내용은 Loading community extensions를 참고해요.

Submitting a supervisor spec

Rabbit 스트림 인덱싱 서비스를 사용하려면 Overlord와 Middle Manager 둘 다에 druid-rabbit-indexing-service 확장을 로드해 주세요. supervisor spec을 제출하면 Druid가 dataSource에 대한 supervisor를 시작해요. supervisor spec을 다음 엔드포인트에 제출해 주세요.

http://<OVERLORD_IP>:<OVERLORD_PORT>/druid/indexer/v1/supervisor

예를 들어:

curl -X POST -H 'Content-Type: application/json' -d @supervisor-spec.json http://localhost:8090/druid/indexer/v1/supervisor

여기서 supervisor-spec.json 파일은 rabbit supervisor spec을 담고 있어요.

{
  "type": "rabbit",
  "spec": {
    "dataSchema": {
      "dataSource": "metrics-rabbit",
      "timestampSpec": {
        "column": "timestamp",
        "format": "auto"
      },
     "dimensionsSpec": {
        "dimensions": [],
        "dimensionExclusions": [
         "timestamp",
         "value"
       ]
      },
     "metricsSpec": [
        {
         "name": "count",
          "type": "count"
       },
       {
          "name": "value_sum",
          "fieldName": "value",
          "type": "doubleSum"
        },
       {
         "name": "value_min",
         "fieldName": "value",
         "type": "doubleMin"
       },
        {
          "name": "value_max",
         "fieldName": "value",
         "type": "doubleMax"
       }
     ],
     "granularitySpec": {
        "type": "uniform",
        "segmentGranularity": "HOUR",
        "queryGranularity": "NONE"
     }
   },
    "ioConfig": {
     "stream": "metrics",
     "inputFormat": {
       "type": "json"
      },
      "uri": "rabbitmq-stream://localhost:5552",
      "taskCount": 1,
      "replicas": 1,
      "taskDuration": "PT1H"
   },
   "tuningConfig": {
     "type": "rabbit",
     "maxRowsPerSegment": 5000000
   }
  }
}

Supervisor spec

ioConfig

tuningConfig

tuningConfig는 선택 항목이에요. tuningConfig를 지정하지 않으면 기본 파라미터가 사용돼요.

IndexSpec

Bitmap types

Roaring 비트맵의 경우:

Concise 비트맵의 경우:

SegmentWriteOutMediumFactory

Operations

이 섹션은 Rabbit Stream Indexing Service에서 일부 supervisor API가 어떻게 동작하는지 설명해요. 모든 supervisor API에 대해서는 Supervisor APIs를 확인하세요.

RabbitMQ authentication

RabbitMQ에 안전하게 인증하려면 username과 password를 제공하고, 표준 인증서 제공자를 사용하지 않는다면 인증서도 구성해야 해요.

이들을 구성하려면 ioConfig의 동적 구성 제공자(dynamic configuration provider)를 사용해요.

  "ioConfig": {
    "type": "rabbit",
    "stream": "api-audit",
    "uri": "rabbitmq-stream://localhost:5552",
    "taskCount": 1,
    "replicas": 1,
    "taskDuration": "PT1H",
    "consumerProperties": {
        "druid.dynamic.config.provider" : {
            "type": "environment",
            "variables": {
                "username": "RABBIT_USERNAME",
                "password": "RABBIT_PASSWORD"
            }
        }
    }
  },

더 알아보기 (Learn more)

• 커뮤니티 확장 불러오기에서 확장을 로드하는 방법을 확인해 보세요.
• Supervisor API 문서에서 supervisor 제어 API를 살펴볼 수 있어요.
• Streaming ingestion 문서에서 스트리밍 수집 전반을 참고해 보세요.