Pulsar 메트릭

Pulsar 메트릭 (Pulsar metrics)

Pulsar는 Prometheus 형식으로 다음 메트릭을 노출해요. 이 메트릭들로 클러스터를 모니터링할 수 있어요. 이번에는 Pulsar가 제공하는 주요 메트릭과 각 메트릭의 의미를 하나씩 살펴볼게요.

출처: 문서

본문

Pulsar Functions
Connectors
Proxy
Pulsar transaction

다음 유형의 메트릭을 사용할 수 있어요:

Counter: 단조 증가하는 카운터를 나타내는 누적 메트릭이에요. 값은 기본적으로 증가해요. 값을 0으로 리셋하거나 클러스터를 재시작할 수 있어요.
Gauge: 임의로 오르내릴 수 있는 단일 숫자 값을 나타내는 메트릭이에요.
Histogram: 관측값(보통 요청 지속 시간이나 응답 크기 같은 것들)을 샘플링해 구성 가능한 버킷에 집계해요. _bucket 접미사는 히스토그램 버킷 안의 관측 수로, {le="<upper inclusive bound>"} 파라미터로 구성돼요. _count 접미사는 관측 수로 시계열로 표시되며 카운터처럼 동작해요. _sum 접미사는 관측 값의 합으로, 이것도 시계열로 표시되며 카운터처럼 동작해요. 이 접미사들은 이 문서에서 함께 _*로 나타내요.
Summary: 히스토그램과 유사하게 관측값(보통 요청 지속 시간과 응답 크기)을 샘플링해요. 관측의 총 개수와 관측 값의 합도 제공하지만, 슬라이딩 시간 창에 걸쳐 구성 가능한 분위수(quantile)를 계산해요.

ZooKeeper

ZooKeeper 메트릭은 포트 8000의 "/metrics" 아래에 노출돼요. conf/zookeeper.conf에서 metricsProvider.httpPort를 구성해 다른 포트를 사용할 수 있어요.

ZooKeeper는 3.6.0부터 New Metrics System을 제공해요. 더 자세한 메트릭은 ZooKeeper Monitor Guide를 참고해요.

BookKeeper

BookKeeper 메트릭은 포트 8000의 "/metrics" 아래에 노출돼요. bookkeeper.conf 구성 파일에서 prometheusStatsHttpPort를 업데이트해 포트를 변경할 수 있어요.

서버 메트릭 (Server metrics)

| 이름 | 유형 | 설명 | | bookie_SERVER_STATUS | Gauge | bookie 서버의 서버 상태.

1: bookie가 쓰기 가능(writable) 모드로 실행 중.
0: bookie가 읽기 전용(read-only) 모드로 실행 중. | | bookkeeper_server_ADD_ENTRY_count | Counter | bookie가 받은 총 ADD_ENTRY 요청 수. success 레이블로 성공과 실패를 구분해요. | | bookkeeper_server_READ_ENTRY_count | Counter | bookie가 받은 총 READ_ENTRY 요청 수. success 레이블로 성공과 실패를 구분해요. | | bookie_WRITE_BYTES | Counter | bookie에 쓰여진 총 바이트 수. | | bookie_READ_BYTES | Counter | bookie에서 읽힌 총 바이트 수. | | bookkeeper_server_ADD_ENTRY_REQUEST | Summary | bookie에서 ADD_ENTRY 요청의 요청 지연 시간 요약. success 레이블로 성공과 실패를 구분해요. | | bookkeeper_server_READ_ENTRY_REQUEST | Summary | bookie에서 READ_ENTRY 요청의 요청 지연 시간 요약. success 레이블로 성공과 실패를 구분해요. | | bookkeeper_server_BookieReadThreadPool_queue_{thread_id} | Gauge | 읽기 스레드 큐에서 처리 대기 중인 요청 수. | | bookkeeper_server_BookieReadThreadPool_task_queued | Summary | 읽기 스레드 큐에서 처리되기까지 작업의 대기 시간. | | bookkeeper_server_BookieReadThreadPool_task_execution | Summary | 읽기 스레드 큐에서 작업의 실행 시간. |

저널 메트릭 (Journal metrics)

저장 메트릭 (Storage metrics)

복제 메트릭 (Replication metrics)

Broker

브로커 메트릭은 포트 8080의 "/metrics/" 아래에 노출돼요. broker.conf 구성 파일에서 webServicePort를 다른 포트로 업데이트해 포트를 변경할 수 있어요.

브로커가 노출하는 모든 메트릭은 cluster=\$\\{pulsar_cluster\\} 레이블로 표시돼요. Pulsar 클러스터 이름은 broker.conf 파일에 구성한 \$\\{pulsar_cluster\\} 값이에요.

브로커 메트릭 (Broker metrics)

모든 브로커 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=${pulsar_cluster}. ${pulsar_cluster}는 broker.conf 파일에 구성한 클러스터 이름이에요.

BookKeeper 클라이언트 메트릭 (BookKeeper client metrics)

BookKeeper 클라이언트 메트릭은 기본적으로 비활성화돼요. broker.conf에 bookkeeperClientExposeStatsToPrometheus=true를 설정해 BookKeeper 클라이언트 메트릭을 노출해요. BookKeeper 클라이언트가 연결한 각 bookie의 메트릭을 얻을 수 있는 PerChannel BookKeeper 클라이언트 메트릭을 노출하려면 broker.conf에 bookkeeperClientLimitStatsLogging=true를 설정할 수 있어요. PerChannel BookKeeper 클라이언트 메트릭을 활성화하면 고부하 상황에서 성능 문제가 발생할 수 있다는 점에 주의해요.

모든 BookKeeper 클라이언트 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=\$\\{pulsar_cluster\\}. \$\\{pulsar_cluster\\}는 broker.conf에 구성한 클러스터 이름이에요.

네임스페이스 메트릭 (Namespace metrics)

네임스페이스 메트릭은 exposeTopicLevelMetricsInPrometheus가 false로 설정된 경우에만 노출돼요.

모든 네임스페이스 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=\$\\{pulsar_cluster\\}. \$\\{pulsar_cluster\\}는 broker.conf에 구성한 클러스터 이름이에요.
namespace: namespace=\$\\{pulsar_namespace\\}. \$\\{pulsar_namespace\\}는 네임스페이스 이름이에요.

pulsar_storage_write_latency_le_0_5: <= 0.5ms
pulsar_storage_write_latency_le_1: <= 1ms
pulsar_storage_write_latency_le_5: <= 5ms
pulsar_storage_write_latency_le_10: <= 10ms
pulsar_storage_write_latency_le_20: <= 20ms
pulsar_storage_write_latency_le_50: <= 50ms
pulsar_storage_write_latency_le_100: <= 100ms
pulsar_storage_write_latency_le_200: <= 200ms
pulsar_storage_write_latency_le_1000: <= 1s
pulsar_storage_write_latency_le_overflow: > 1s | | pulsar_entry_size_le_* | Histogram | 항목 크기가 주어진 임계값 미만인 네임스페이스의 항목 비율. 사용 가능한 임계값:
pulsar_entry_size_le_128: <= 128 bytes
pulsar_entry_size_le_512: <= 512 bytes
pulsar_entry_size_le_1_kb: <= 1 KB
pulsar_entry_size_le_2_kb: <= 2 KB
pulsar_entry_size_le_4_kb: <= 4 KB
pulsar_entry_size_le_16_kb: <= 16 KB
pulsar_entry_size_le_100_kb: <= 100 KB
pulsar_entry_size_le_1_mb: <= 1 MB
pulsar_entry_size_le_overflow: > 1 MB | | pulsar_delayed_message_index_size_bytes | Gauge | 이 브로커가 소유한 네임스페이스의 DelayedDeliveryTracker가 할당한 총 메모리 크기(바이트). | | pulsar_delayed_message_index_bucket_total | Gauge | 지연 메시지 인덱스 버킷 수(불변 버킷 + LastMutableBucket). | | pulsar_delayed_message_index_loaded | Gauge | 메모리에 있는 지연 메시지 인덱스의 총 수. | | pulsar_delayed_message_index_bucket_snapshot_size_bytes | Gauge | 지연 메시지 인덱스 버킷 스냅샷의 총 크기(바이트). | | pulsar_delayed_message_index_bucket_op_count | Counter | 지연 메시지 인덱스 버킷 스냅샷 작업의 총 수. state 레이블은 succeed,failed,all(all은 모든 상태의 총 수)일 수 있고, type 레이블은 create,load,delete,merge일 수 있어요. | | pulsar_delayed_message_index_bucket_op_latency_ms | Histogram | 주어진 분위수(임계값)에서의 지연 메시지 인덱스 버킷 스냅샷 작업 지연 시간. type 레이블은 create,load,delete,merge일 수 있어요. quantile 레이블은 다음일 수 있어요:
quantile="50"은 작업 지연 시간 (0ms, 50ms]
quantile="100"은 작업 지연 시간 (50ms, 100ms]
quantile="500"은 작업 지연 시간 (100ms, 500ms]
quantile="1000"은 작업 지연 시간 (500ms, 1s]
quantile="5000"은 작업 지연 시간 (1s, 5s]
quantile="30000"은 작업 지연 시간 (5s, 30s]
quantile="60000"은 작업 지연 시간 (30s, 60s]
quantile="overflow"는 작업 지연 시간 > 1m |

토픽 메트릭 (Topic metrics)

토픽 메트릭은 exposeTopicLevelMetricsInPrometheus가 true로 설정된 경우에만 노출돼요.

모든 토픽 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=\$\\{pulsar_cluster\\}. \$\\{pulsar_cluster\\}는 broker.conf에 구성한 클러스터 이름이에요.
namespace: namespace=\$\\{pulsar_namespace\\}. \$\\{pulsar_namespace\\}는 네임스페이스 이름이에요.
topic: topic=\$\\{pulsar_topic\\}. \$\\{pulsar_topic\\}는 토픽 이름이에요.

pulsar_storage_write_latency_le_0_5: <= 0.5ms
pulsar_storage_write_latency_le_1: <= 1ms
pulsar_storage_write_latency_le_5: <= 5ms
pulsar_storage_write_latency_le_10: <= 10ms
pulsar_storage_write_latency_le_20: <= 20ms
pulsar_storage_write_latency_le_50: <= 50ms
pulsar_storage_write_latency_le_100: <= 100ms
pulsar_storage_write_latency_le_200: <= 200ms
pulsar_storage_write_latency_le_1000: <= 1s
pulsar_storage_write_latency_le_overflow: > 1s | | pulsar_entry_size_le_* | Histogram | 항목 크기가 주어진 임계값 미만인 토픽의 항목 비율. 사용 가능한 임계값:
pulsar_entry_size_le_128: <= 128 bytes
pulsar_entry_size_le_512: <= 512 bytes
pulsar_entry_size_le_1_kb: <= 1 KB
pulsar_entry_size_le_2_kb: <= 2 KB
pulsar_entry_size_le_4_kb: <= 4 KB
pulsar_entry_size_le_16_kb: <= 16 KB
pulsar_entry_size_le_100_kb: <= 100 KB
pulsar_entry_size_le_1_mb: <= 1 MB
pulsar_entry_size_le_overflow: > 1 MB | | pulsar_in_bytes_total | Counter | 이 토픽에 대해 받은 총 메시지 바이트 수. | | pulsar_in_messages_total | Counter | 이 토픽에 대해 받은 총 메시지 수. | | pulsar_out_bytes_total | Counter | 이 토픽에서 읽은 총 메시지 바이트 수. | | pulsar_out_messages_total | Counter | 이 토픽에서 읽은 총 메시지 수. | | pulsar_compaction_removed_event_count | Gauge | 컴팩션의 총 제거 이벤트 수. | | pulsar_compaction_succeed_count | Gauge | 컴팩션의 총 성공 수. | | pulsar_compaction_failed_count | Gauge | 컴팩션의 총 실패 수. | | pulsar_compaction_duration_time_in_mills | Gauge | 컴팩션의 지속 시간. | | pulsar_compaction_read_throughput | Gauge | 컴팩션의 읽기 처리량. | | pulsar_compaction_write_throughput | Gauge | 컴팩션의 쓰기 처리량. | | pulsar_compaction_latency_le_* | Histogram | 주어진 분위수에서의 컴팩션 지연 시간. 사용 가능한 임계값:
pulsar_compaction_latency_le_0_5: <= 0.5ms
pulsar_compaction_latency_le_1: <= 1ms
pulsar_compaction_latency_le_5: <= 5ms
pulsar_compaction_latency_le_10: <= 10ms
pulsar_compaction_latency_le_20: <= 20ms
pulsar_compaction_latency_le_50: <= 50ms
pulsar_compaction_latency_le_100: <= 100ms
pulsar_compaction_latency_le_200: <= 200ms
pulsar_compaction_latency_le_1000: <= 1s
pulsar_compaction_latency_le_overflow: > 1s | | pulsar_compaction_compacted_entries_count | Gauge | 컴팩트된 항목의 총 수. | | pulsar_compaction_compacted_entries_size | Gauge | 컴팩트된 항목의 총 크기. | | pulsar_txn_tb_active_total | Gauge | 이 토픽의 활성 트랜잭션 수. | | pulsar_txn_tb_aborted_total | Counter | 토픽의 중단된 트랜잭션 수. | | pulsar_txn_tb_committed_total | Counter | 토픽의 커밋된 트랜잭션 수. | | pulsar_delayed_message_index_size_bytes | Gauge | 이 브로커가 소유한 토픽의 DelayedDeliveryTracker가 할당한 총 메모리 크기(바이트). | | pulsar_delayed_message_index_bucket_total | Gauge | 지연 메시지 인덱스 버킷 수(불변 버킷 + LastMutableBucket). | | pulsar_delayed_message_index_loaded | Gauge | 메모리에 있는 지연 메시지 인덱스의 총 수. | | pulsar_delayed_message_index_bucket_snapshot_size_bytes | Gauge | 지연 메시지 인덱스 버킷 스냅샷의 총 크기(바이트). | | pulsar_delayed_message_index_bucket_op_count | Counter | 지연 메시지 인덱스 버킷 스냅샷 작업의 총 수. state 레이블은 succeed,failed,all(all은 모든 상태의 총 수)일 수 있고, type 레이블은 create,load,delete,merge일 수 있어요. | | pulsar_delayed_message_index_bucket_op_latency_ms | Histogram | 주어진 분위수(임계값)에서의 지연 메시지 인덱스 버킷 스냅샷 작업 지연 시간. type 레이블은 create,load,delete,merge일 수 있어요. quantile 레이블은 다음일 수 있어요:
quantile="50"은 작업 지연 시간 (0ms, 50ms]
quantile="100"은 작업 지연 시간 (50ms, 100ms]
quantile="500"은 작업 지연 시간 (100ms, 500ms]
quantile="1000"은 작업 지연 시간 (500ms, 1s]
quantile="5000"은 작업 지연 시간 (1s, 5s]
quantile="30000"은 작업 지연 시간 (5s, 30s]
quantile="60000"은 작업 지연 시간 (30s, 60s]
quantile="overflow"는 작업 지연 시간 > 1m |

복제 메트릭 (Replication metrics)

네임스페이스가 여러 Pulsar 클러스터 간 복제되도록 구성된 경우, replicationMetricsEnabled가 활성화되면 해당 복제 메트릭도 노출돼요.

모든 복제 메트릭은 remoteCluster=\$\\{pulsar_remote_cluster\\}로도 레이블이 표시돼요.

토픽 룩업 메트릭 (Topic lookup metrics)

ManagedLedger 메트릭 (ManagedLedger metrics)

모든 managedLedger 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=${pulsar_cluster}. ${pulsar_cluster}는 broker.conf 파일에 구성한 클러스터 이름이에요.
namespace: namespace=${pulsar_namespace}. ${pulsar_namespace}는 네임스페이스 이름이에요.
quantile: quantile=${quantile}. Quantile은 Histogram 유형 메트릭에만 해당하며, 주어진 버킷의 임계값을 나타내요.

quantile="0.0_0.5"은 AddEntryLatency (0.0ms, 0.5ms]
quantile="0.5_1.0"은 AddEntryLatency (0.5ms, 1.0ms]
quantile="1.0_5.0"은 AddEntryLatency (1ms, 5ms]
quantile="5.0_10.0"은 AddEntryLatency (5ms, 10ms]
quantile="10.0_20.0"은 AddEntryLatency (10ms, 20ms]
quantile="20.0_50.0"은 AddEntryLatency (20ms, 50ms]
quantile="50.0_100.0"은 AddEntryLatency (50ms, 100ms]
quantile="100.0_200.0"은 AddEntryLatency (100ms, 200ms]
quantile="200.0_1000.0"은 AddEntryLatency (200ms, 1s] | | pulsar_ml_AddEntryLatencyBuckets_OVERFLOW | Gauge | AddEntryLatency가 1초보다 긴 횟수. | | pulsar_ml_AddEntryMessagesRate | Gauge | 추가된 메시지의 msg/s 속도. | | pulsar_ml_AddEntrySucceed | Gauge | 성공한 addEntry 요청 수. | | pulsar_ml_EntrySizeBuckets | Histogram | 주어진 분위수에서의 원장 추가 항목 크기. 사용 가능한 분위수:
quantile="0.0_128.0"은 EntrySize (0byte, 128byte]
quantile="128.0_512.0"은 EntrySize (128byte, 512byte]
quantile="512.0_1024.0"은 EntrySize (512byte, 1KB]
quantile="1024.0_2048.0"은 EntrySize (1KB, 2KB]
quantile="2048.0_4096.0"은 EntrySize (2KB, 4KB]
quantile="4096.0_16384.0"은 EntrySize (4KB, 16KB]
quantile="16384.0_102400.0"은 EntrySize (16KB, 100KB]
quantile="102400.0_1232896.0"은 EntrySize (100KB, 1MB] | | pulsar_ml_EntrySizeBuckets_OVERFLOW | Gauge | EntrySize가 1MB보다 큰 횟수. | | pulsar_ml_LedgerSwitchLatencyBuckets | Histogram | 주어진 분위수에서의 원장 전환 지연 시간. 사용 가능한 분위수:
quantile="0.0_0.5"은 EntrySize (0ms, 0.5ms]
quantile="0.5_1.0"은 EntrySize (0.5ms, 1ms]
quantile="1.0_5.0"은 EntrySize (1ms, 5ms]
quantile="5.0_10.0"은 EntrySize (5ms, 10ms]
quantile="10.0_20.0"은 EntrySize (10ms, 20ms]
quantile="20.0_50.0"은 EntrySize (20ms, 50ms]
quantile="50.0_100.0"은 EntrySize (50ms, 100ms]
quantile="100.0_200.0"은 EntrySize (100ms, 200ms]
quantile="200.0_1000.0"은 EntrySize (200ms, 1000ms] | | pulsar_ml_LedgerSwitchLatencyBuckets_OVERFLOW | Gauge | 원장 전환 지연 시간이 1초보다 긴 횟수. | | pulsar_ml_LedgerAddEntryLatencyBuckets | Histogram | bookie 클라이언트가 브로커에서 BookKeeper 서비스로 원장 항목을 영속화하는 지연 시간(주어진 분위수(임계값)). 사용 가능한 분위수:
quantile="0.0_0.5"은 LedgerAddEntryLatency (0.0ms, 0.5ms]
quantile="0.5_1.0"은 LedgerAddEntryLatency (0.5ms, 1.0ms]
quantile="1.0_5.0"은 LedgerAddEntryLatency (1ms, 5ms]
quantile="5.0_10.0"은 LedgerAddEntryLatency (5ms, 10ms]
quantile="10.0_20.0"은 LedgerAddEntryLatency (10ms, 20ms]
quantile="20.0_50.0"은 LedgerAddEntryLatency (20ms, 50ms]
quantile="50.0_100.0"은 LedgerAddEntryLatency (50ms, 100ms]
quantile="100.0_200.0"은 LedgerAddEntryLatency (100ms, 200ms]
quantile="200.0_1000.0"은 LedgerAddEntryLatency (200ms, 1s] | | pulsar_ml_LedgerAddEntryLatencyBuckets_OVERFLOW | Gauge | LedgerAddEntryLatency가 1초보다 긴 횟수. | | pulsar_ml_MarkDeleteRate | Gauge | mark-delete 작업 속도(ops/s). | | pulsar_ml_NumberOfMessagesInBacklog | Gauge | 모든 컨슈머의 백로그 메시지 수. | | pulsar_ml_ReadEntriesBytesRate | Gauge | 읽힌 메시지의 B/s 속도. | | pulsar_ml_ReadEntriesErrors | Gauge | 실패한 readEntries 요청 수. | | pulsar_ml_ReadEntriesRate | Gauge | 읽힌 메시지의 msg/s 속도. | | pulsar_ml_ReadEntriesSucceeded | Gauge | 성공한 readEntries 요청 수. | | pulsar_ml_StoredMessagesSize | Gauge | 활성 원장의 메시지 총 크기(저장된 여러 복사본을 고려). |

관리 커서 확인 상태 (Managed cursor acknowledgment state)

확인 상태는 먼저 원장에 영속화돼요. 확인 상태가 원장에 영속화되지 못하면 ZooKeeper에 영속화돼요. 확인 통계를 추적하려면 관리 커서에 대한 메트릭을 구성할 수 있어요.

모든 커서 확인 상태 메트릭은 다음 레이블로 표시돼요:

namespace: namespace=\$\\{pulsar_namespace\\}. \$\\{pulsar_namespace\\}는 네임스페이스 이름이에요.
ledger_name: ledger_name=\$\\{pulsar_ledger_name\\}. \$\\{pulsar_ledger_name\\}는 원장 이름이에요.
cursor_name: ledger_name=\$\\{pulsar_cursor_name\\}. \$\\{pulsar_cursor_name\\}는 커서 이름이에요.

구독 메트릭 (Subscription metrics)

구독 메트릭은 exposeTopicLevelMetricsInPrometheus가 true로 설정된 경우에만 노출돼요.

모든 구독 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=\$\\{pulsar_cluster\\}. \$\\{pulsar_cluster\\}는 broker.conf에 구성한 클러스터 이름이에요.
namespace: namespace=\$\\{pulsar_namespace\\}. \$\\{pulsar_namespace\\}는 네임스페이스 이름이에요.
topic: topic=\$\\{pulsar_topic\\}. \$\\{pulsar_topic\\}는 토픽 이름이에요.
subscription: subscription=\$\\{subscription\\}. \$\\{subscription\\}는 토픽 구독 이름이에요.

1은 구독이 미확인 메시지가 ack될 때까지 대기하며 차단됨을 의미.
0은 구독이 미확인 메시지가 ack될 때까지 대기하며 차단되지 않음을 의미. | | pulsar_subscription_msg_rate_out | Gauge | 구독의 총 메시지 디스패치 속도(초당 메시지). | | pulsar_subscription_msg_throughput_out | Gauge | 구독의 총 메시지 디스패치 처리량(초당 바이트). | | pulsar_subscription_msg_ack_rate | Gauge | 구독의 총 메시지 확인 속도(초당 메시지). | | pulsar_subscription_last_expire_timestamp | Gauge | 구독의 마지막 메시지 만료 타임스탬프. | | pulsar_subscription_last_acked_timestamp | Gauge | 구독의 마지막 확인 메시지 타임스탬프. | | pulsar_subscription_last_consumed_flow_timestamp | Gauge | 구독의 마지막 수신 consume flow 명령 타임스탬프. | | pulsar_subscription_last_consumed_timestamp | Gauge | 구독의 마지막 소비 메시지 타임스탬프. | | pulsar_subscription_last_mark_delete_advanced_timestamp | Gauge | 구독의 마지막 MarkDelete 위치 고급 타임스탬프. | | pulsar_subscription_msg_rate_expired | Gauge | 이 구독에서 만료된 메시지의 총 속도(초당 메시지). | | pulsar_subscription_total_msg_expired | Gauge | 이 구독에서 만료된 총 메시지 수. | | pulsar_subscription_msg_drop_rate | Gauge | 이 구독에서 버려진 메시지의 속도(초당 메시지). | | pulsar_subscription_consumers_count | Gauge | 이 구독에 연결된 컨슈머 수. | | pulsar_subscription_filter_processed_msg_count | Counter | EntryFilter가 처리한 메시지 수. | | pulsar_subscription_filter_accepted_msg_count | Counter | EntryFilter가 수락한 메시지 수. | | pulsar_subscription_filter_rejected_msg_count | Counter | EntryFilter가 거부한 메시지 수. | | pulsar_subscription_filter_rescheduled_msg_count | Counter | EntryFilter가 재스케줄한 메시지 수. | | pulsar_delayed_message_index_size_bytes | Gauge | 이 브로커가 소유한 구독의 DelayedDeliveryTracker가 할당한 총 메모리 크기(바이트). | | pulsar_delayed_message_index_bucket_total | Gauge | 지연 메시지 인덱스 버킷 수(불변 버킷 + LastMutableBucket). | | pulsar_delayed_message_index_loaded | Gauge | 메모리에 있는 지연 메시지 인덱스의 총 수. | | pulsar_delayed_message_index_bucket_snapshot_size_bytes | Gauge | 지연 메시지 인덱스 버킷 스냅샷의 총 크기(바이트). | | pulsar_delayed_message_index_bucket_op_count | Counter | 지연 메시지 인덱스 버킷 스냅샷 작업의 총 수. state 레이블은 succeed,failed,all(all은 모든 상태의 총 수)일 수 있고, type 레이블은 create,load,delete,merge일 수 있어요. | | pulsar_delayed_message_index_bucket_op_latency_ms | Histogram | 주어진 분위수(임계값)에서의 지연 메시지 인덱스 버킷 스냅샷 작업 지연 시간. type 레이블은 create,load,delete,merge일 수 있어요. quantile 레이블은 다음일 수 있어요:
quantile="50"은 작업 지연 시간 (0ms, 50ms]
quantile="100"은 작업 지연 시간 (50ms, 100ms]
quantile="500"은 작업 지연 시간 (100ms, 500ms]
quantile="1000"은 작업 지연 시간 (500ms, 1s]
quantile="5000"은 작업 지연 시간 (1s, 5s]
quantile="30000"은 작업 지연 시간 (5s, 30s]
quantile="60000"은 작업 지연 시간 (30s, 60s]
quantile="overflow"는 작업 지연 시간 > 1m |

컨슈머 메트릭 (Consumer metrics)

컨슈머 메트릭은 exposeTopicLevelMetricsInPrometheus와 exposeConsumerLevelMetricsInPrometheus가 모두 true로 설정된 경우에만 노출돼요.

모든 컨슈머 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=\$\\{pulsar_cluster\\}. \$\\{pulsar_cluster\\}는 broker.conf에 구성한 클러스터 이름이에요.
namespace: namespace=\$\\{pulsar_namespace\\}. \$\\{pulsar_namespace\\}는 네임스페이스 이름이에요.
topic: topic=\$\\{pulsar_topic\\}. \$\\{pulsar_topic\\}는 토픽 이름이에요.
subscription: subscription=\$\\{subscription\\}. \$\\{subscription\\}는 토픽 구독 이름이에요.
consumer_name: consumer_name=\$\\{consumer_name\\}. \$\\{consumer_name\\}는 토픽 컨슈머 이름이에요.
consumer_id: consumer_id=\$\\{consumer_id\\}. \$\\{consumer_id\\}는 토픽 컨슈머 ID예요.

1은 컨슈머가 미확인 메시지가 ack될 때까지 대기하며 차단됨을 의미.
0은 컨슈머가 미확인 메시지가 ack될 때까지 대기하며 차단되지 않음을 의미. | | pulsar_consumer_msg_rate_out | Gauge | 컨슈머의 총 메시지 디스패치 속도(초당 메시지). | | pulsar_consumer_msg_ack_rate | Gauge | 메시지 ack의 총 속도(초당 메시지). | | pulsar_consumer_msg_throughput_out | Gauge | 컨슈머의 총 메시지 디스패치 처리량(초당 바이트). | | pulsar_consumer_available_permits | Gauge | 컨슈머의 사용 가능한 허가(permit). |

관리 원장 bookie 클라이언트 메트릭 (Managed ledger bookie client metrics)

모든 관리 원장 bookie 클라이언트 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=\$\\{pulsar_cluster\\}. \$\\{pulsar_cluster\\}는 broker.conf에 구성한 클러스터 이름이에요.

토큰 메트릭 (Token metrics)

모든 토큰 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=\$\\{pulsar_cluster\\}. \$\\{pulsar_cluster\\}는 broker.conf에 구성한 클러스터 이름이에요.

인증 메트릭 (Authentication metrics)

모든 인증 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=\$\\{pulsar_cluster\\}. \$\\{pulsar_cluster\\}는 broker.conf에 구성한 클러스터 이름이에요.
provider_name: provider_name=\$\\{provider_name\\}. \$\\{provider_name\\}는 인증 제공자의 클래스 이름이에요.
auth_method: auth_method=\$\\{auth_method\\}. \$\\{auth_method\\}는 인증 제공자의 인증 메서드예요.
reason: reason=\$\\{reason\\}. \$\\{reason\\}는 인증 작업 실패 이유예요. (이 레이블은 pulsar_authentication_failures_total에만 해당돼요.)

연결 메트릭 (Connection metrics)

모든 연결 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=\$\\{pulsar_cluster\\}. \$\\{pulsar_cluster\\}는 broker.conf에 구성한 클러스터 이름이에요.
broker: broker=\$\\{advertised_address\\}. \$\\{advertised_address\\}는 브로커의 광고 주소예요.
metric: metric=\$\\{metric\\}. \$\\{metric\\}는 연결 메트릭의 집합 이름이에요.

Jetty 메트릭 (Jetty metrics)

브로커와 분리되어 실행되는 functions-worker의 경우, Jetty 메트릭은 includeStandardPrometheusMetrics가 true로 설정된 경우에만 노출돼요.

모든 jetty 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=\$\\{pulsar_cluster\\}. \$\\{pulsar_cluster\\}는 broker.conf에 구성한 클러스터 이름이에요.

스키마 메트릭 (Schema metrics)

브로커와 분리되어 실행되는 functions-worker의 경우, 스키마 메트릭은 includeStandardPrometheusMetrics가 true로 설정된 경우에만 노출돼요.

모든 스키마 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=\$\\{pulsar_cluster\\}. \$\\{pulsar_cluster\\}는 broker.conf에 구성한 클러스터 이름이에요.

오프로드 메트릭 (Offload metrics)

모든 오프로드 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=\$\\{pulsar_cluster\\}. \$\\{pulsar_cluster\\}는 broker.conf에 구성한 클러스터 이름이에요.
namespace: namespace=\$\\{pulsar_namespace\\}. \$\\{pulsar_namespace\\}는 네임스페이스 이름이에요.
topic: topic=\$\\{pulsar_topic\\}. \$\\{pulsar_topic\\}는 토픽 이름이에요.

웹 서비스 실행기 메트릭 (Web service executor metrics)

브로커와 분리되어 실행되는 functions worker의 경우, Jetty 메트릭은 includeStandardPrometheusMetrics가 true로 설정된 경우에만 노출돼요.

모든 웹 서비스 실행기 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=\$\\{pulsar_cluster\\}. \$\\{pulsar_cluster\\}는 broker.conf에 구성한 클러스터 이름이에요.

메타데이터 저장소 메트릭 (Metadata store metrics)

모든 메타데이터 저장소 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=\$\\{pulsar_cluster\\}. \$\\{pulsar_cluster\\}는 broker.conf에 구성한 클러스터 이름이에요.
name: name=\$\\{metadata-store\\|configuration-metadata-store\\|state-metadata-store\\}. \$\\{name\\}은 메타데이터 저장소 이름이에요.

JVM 메트릭 (JVM Metrics)

프로세스 메트릭 (Process Metrics)

메모리 메트릭 (Memory Metrics)

버퍼 풀 메트릭 (Buffer Pools Metrics)

가비지 컬렉터 메트릭 (Garbage Collectors Metrics)

| 이름 | 유형 | 설명 | | jvm_gc_collection_seconds | Summary | 주어진 JVM 가비지 컬렉터에서 소요된 시간(초). |

스레드 메트릭 (Threads Metrics)

클래스로더 메트릭 (Classloaders Metrics)

로드 밸런싱 (Load balancing)

이 섹션은 브로커 로드 밸런싱과 관련된 모든 메트릭을 보여줘요.

note

로드 밸런싱 메트릭은 기본적으로 노출되지 않아요. 로드 밸런싱 메트릭에 접근하려면 broker.conf 또는 standalone.conf 파일에서 다음 구성을 설정해 노출하고, 클러스터에 활성 프로듀서나 컨슈머가 있는지 확인해야 해요.
loadManagerClassName=org.apache.pulsar.broker.loadbalance.impl.ModularLoadManagerImpl
loadBalancerEnabled=true
exposeBundlesMetricsInPrometheus=true // Add this configuration to standalone.conf
별표(*)가 있는 메트릭은 확장형(extensible) 로드 밸런서에서만 사용할 수 있어요.

로드 밸런싱 메트릭 (LoadBalancing metrics)

모든 로드 밸런싱 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=${pulsar_cluster}. ${pulsar_cluster}는 broker.conf 파일에 구성한 클러스터 이름이에요.
broker: broker=${broker}. ${broker}는 브로커의 IP 주소예요.
metric: metric="loadBalancing".

| 이름 | 유형 | 설명 | | pulsar_lb_bandwidth_in_usage | Gauge | 브로커 인바운드 대역폭 사용량(퍼센트). | | pulsar_lb_bandwidth_out_usage | Gauge | 브로커 아웃바운드 대역폭 사용량(퍼센트). | | pulsar_lb_cpu_usage | Gauge | 브로커 CPU 사용량(퍼센트). | | pulsar_lb_directMemory_usage | Gauge | 브로커 프로세스 다이렉트 메모리 사용량(퍼센트). | | pulsar_lb_memory_usage | Gauge | 브로커 프로세스 메모리 사용량(퍼센트). | | pulsar_lb_resource_usage {feature=max}* | Gauge | 대역폭, CPU, 메모리, 다이렉트 메모리의 최대 리소스 사용량. | | pulsar_lb_resource_usage {feature=max_ema}* | Gauge | 브로커 부하 점수(WeightedMaxEMA). |

BundleUnloading 메트릭

모든 bundleUnloading 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=${pulsar_cluster}. ${pulsar_cluster}는 broker.conf 파일에 구성한 클러스터 이름이에요.
bundle: bundle=${bundle}. ${bundle}는 이 브로커의 번들 범위예요.
metric: metric="bundleUnloading".

| 이름 | 유형 | 설명 | | pulsar_lb_unload_broker_total | Counter | 이 번들 언로딩에서 언로드된 브로커 수. | | pulsar_lb_unload_bundle_total | Counter | 이 번들 언로딩에서 언로드된 번들 수. pulsar_lb_unload_bundle_total의 값이 0보다 크면 번들이 언로드되었음을 의미해요. | | pulsar_lb_unload_broker_breakdown_total{result, reason}* | Counter | 결과와 이유 레이블로 그룹화된 언로드 브로커 분석 수. | | pulsar_lb_resource_usage_stats{feature=max_ema, stat=avg}* | Gauge | 브로커 부하 점수의 평균. | | pulsar_lb_resource_usage_stats{feature=max_ema, stat=std}* | Gauge | 브로커 부하 점수의 표준 편차. |

BundleSplit 메트릭

모든 bundleUnloading 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=${pulsar_cluster}. ${pulsar_cluster}는 broker.conf 파일에 구성한 클러스터 이름이에요.
bundle: bundle=${bundle}. ${bundle}는 이 브로커의 번들 범위예요.
metric: metric="bundlesSplit".

| 이름 | 유형 | 설명 | | pulsar_lb_bundles_split_total | Counter | 이 리더 브로커의 총 번들 분할 수. | | pulsar_lb_bundles_split_breakdown_total{result, reason}* | Counter | 결과와 이유 레이블로 그룹화된 번들 분할 분석 수. |

번들 메트릭 (Bundle metrics)

모든 번들 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=${pulsar_cluster}. ${pulsar_cluster}는 broker.conf 파일에 구성한 클러스터 이름이에요.
broker: broker=${broker}. ${broker}는 브로커의 IP 주소예요.
bundle: bundle=${bundle}. ${bundle}는 이 브로커의 번들 범위예요.
metric: metric="bundle".

번들 할당 메트릭 (Bundle assign metrics)

모든 번들 할당 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=${pulsar_cluster}. ${pulsar_cluster}는 broker.conf 파일에 구성한 클러스터 이름이에요.
broker: broker=${broker}. ${broker}는 브로커의 IP 주소예요.
bundle: bundle=${bundle}. ${bundle}는 이 브로커의 번들 범위예요.
metric: metric="assign".

| 이름 | 유형 | 설명 | | pulsar_lb_assign_broker_breakdown_total{result, reason}* | Counter | 결과와 이유 레이블로 그룹화된 브로커 할당 분석 수. |

서비스 단위 상태 채널 메트릭 (Service unit state channel metrics)

모든 서비스 단위 상태 채널 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=${pulsar_cluster}. ${pulsar_cluster}는 broker.conf 파일에 구성한 클러스터 이름이에요.
metric: metric="sunitStateChn".

| 이름 | 유형 | 설명 | | pulsar_sunit_state_chn_owner_lookup_total{result, state}* | Counter | 결과와 상태 레이블로 그룹화된 소유 브로커 룩업 수. | | pulsar_sunit_state_chn_event_publish_ops_total{result, event}* | Counter | 결과와 이벤트 레이블로 그룹화된 서비스 단위(예: 번들) 상태 변경의 게시 메시지 수. | | pulsar_sunit_state_chn_subscribe_ops_total{result, event}* | Counter | 결과와 이벤트 레이블로 그룹화된 서비스 단위(예: 번들) 상태 변경의 구독 메시지 수. | | pulsar_sunit_state_chn_inactive_broker_cleanup_ops_total{result}* | Counter | 결과 레이블로 그룹화된 비활성 브로커 정리 작업 수. | | pulsar_sunit_state_chn_orphan_su_cleanup_ops_total* | Counter | 고아 서비스 단위(예: 번들) 정리 작업의 총 수. | | pulsar_sunit_state_chn_owned_su_total* | Gauge | 소유한 번들 수. | | pulsar_sunit_state_chn_su_tombstone_cleanup_ops_total* | Counter | 삭제된 서비스 단위(예: 번들) 툼스톤 작업의 총 수. | | pulsar_sunit_state_chn_cleanup_ops_total{result=Failure}* | Counter | 정리 작업 실패의 총 수. |

Pulsar Functions

모든 Pulsar Functions 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=\$\\{pulsar_cluster\\}. \$\\{pulsar_cluster\\}는 broker.conf에 구성한 클러스터 이름이에요.
namespace: namespace=\$\\{pulsar_namespace\\}. \$\\{pulsar_namespace\\}는 네임스페이스 이름이에요.

커넥터 (Connectors)

모든 Pulsar 커넥터 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=\$\\{pulsar_cluster\\}. \$\\{pulsar_cluster\\}는 broker.conf에 구성한 클러스터 이름이에요.
namespace: namespace=\$\\{pulsar_namespace\\}. \$\\{pulsar_namespace\\}는 네임스페이스 이름이에요.

커넥터 메트릭은 source 메트릭과 sink 메트릭을 포함해요.

Source 메트릭

Sink 메트릭

프록시 (Proxy)

모든 프록시 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=\$\\{pulsar_cluster\\}. \$\\{pulsar_cluster\\}는 broker.conf에 구성한 클러스터 이름이에요.
kubernetes_pod_name: kubernetes_pod_name=\$\\{kubernetes_pod_name\\}. \$\\{kubernetes_pod_name\\}는 Kubernetes 파드 이름이에요.

Pulsar 트랜잭션 (Pulsar transaction)

모든 트랜잭션 메트릭은 다음 레이블로 표시돼요:

cluster: cluster=\$\\{pulsar_cluster\\}. \$\\{pulsar_cluster\\}는 broker.conf에 구성한 클러스터 이름이에요.
coordinator_id: coordinator_id=\$\\{coordinator_id\\}. \$\\{coordinator_id\\}는 코디네이터 ID예요.

latency="10"은 TransactionExecutionLatency (0ms, 10ms]
latency="20"은 TransactionExecutionLatency (10ms, 20ms]
latency="50"은 TransactionExecutionLatency (20ms, 50ms]
latency="100"은 TransactionExecutionLatency (50ms, 100ms]
latency="500"은 TransactionExecutionLatency (100ms, 500ms]
latency="1000"은 TransactionExecutionLatency (500ms, 1000ms]
latency="5000"은 TransactionExecutionLatency (1s, 5s]
latency="15000"은 TransactionExecutionLatency (5s, 15s]
latency="30000"은 TransactionExecutionLatency (15s, 30s]
latency="60000"은 TransactionExecutionLatency (30s, 60s]
latency="300000"은 TransactionExecutionLatency (1m,5m]
latency="1500000"은 TransactionExecutionLatency (5m,15m]
latency="3000000"은 TransactionExecutionLatency (15m,30m]
latency="overflow"는 TransactionExecutionLatency (30m,∞] | | pulsar_txn_tb_client_abort_failed_total | Counter | transaction buffer client의 트랜잭션 중단 실패 수. | | pulsar_txn_tb_client_commit_failed_total | Counter | transaction buffer client의 트랜잭션 커밋 실패 수. | | pulsar_txn_tb_client_abort_latency | Summary | transaction buffer client의 트랜잭션 중단 지연 시간. | | pulsar_txn_tb_client_commit_latency | Summary | transaction buffer client의 트랜잭션 커밋 지연 시간. | | pulsar_txn_tb_client_pending_requests | Counter | transaction buffer client의 보류 중인 요청 수. | | pulsar_txn_tp_committed_count_total | Counter | pending ack 저장소의 커밋된 트랜잭션 수. | | pulsar_txn_tp_aborted_count_total | Counter | pending ack 저장소의 중단된 트랜잭션 수. | | pulsar_txn_tp_commit_latency | Summary | transaction pending ack handle의 트랜잭션 커밋 지연 시간. |

더 알아보기 (Learn more)

OpenTelemetry 형식의 메트릭은 Pulsar OpenTelemetry Metrics 문서를 참고해요.
Prometheus 메트릭 개념은 Prometheus metric types 문서를 봐요.
백로그 할당량 보존 정책은 cookbooks-retention-expiry 문서를 살펴봐요.
로드 밸런싱 개념은 concepts-broker-load-balancing-overview 문서를 확인해요.