Realtime 프로세스

Realtime 프로세스 (Realtime Process)

Apache Druid의 이전 버전은 'stream pull' 방식의 실시간 수집을 쿼리하고 인덱싱하는 독립형(standalone) 'Realtime' 프로세스를 지원했어요. 이 모델은 운영상·아키텍처상 여러 이유로 폐기되었고 Druid 0.16.0에서 완전히 제거됐으며, 대신 Kafka Indexing Service나 Kinesis Indexing Service 사용을 권장합니다.

출처: 문서

본문

Apache Druid의 이전 버전은 'stream pull' 방식의 실시간 수집을 쿼리하고 인덱싱하는 독립형(standalone) 'Realtime' 프로세스를 지원했어요. 이 프로세스들은 일정 시간 동안 수집한 데이터로 주기적으로 세그먼트를 만들어 낸 뒤, Historical 서버로 hand-off를 수행했습니다.

이 프로세스는 다음과 같이 실행할 수 있었어요.

org.apache.druid.cli.Main server realtime

이 stream pull 수집 모델은 운영상·아키텍처상 여러 이유로 폐기(deprecated)되었고, Druid 0.16.0에서 완전히 제거됐습니다. 운영 측면에서 realtime 노드는 설정·배포·확장이 어려웠는데, 각 노드마다 고유한 설정이 필요했기 때문이에요. 또 realtime 노드용 stream pull 수집 시스템의 설계는 정확히 한 번(Exactly-once) 수집을 실현할 수 없는 한계를 지니고 있었습니다.

druid-kafka-eight, druid-kafka-eight-simpleConsumer, druid-rabbitmq, druid-rocketmq 확장도 이 시점에 함께 제거됐는데, 이들은 realtime 노드 위에서 동작하도록 만들어졌기 때문이에요.

스트림 풀 수집에는 Kafka Indexing Service나 Kinesis Indexing Service를 사용하는 것을 권장합니다.

더 알아보기 (Learn more)