본문 바로가기
WIKI 기술 지식 베이스

나만의 Prometheus 가져와 쓰기

원문 보기 위키 갱신

나만의 Prometheus 가져와 쓰기 (Bringing your own Prometheus)

linkerd-viz 확장에는 자체 Prometheus 인스턴스가 딸려오긴 하지만, 여러 이유로 외부 인스턴스를 쓰는 편이 더 맞는 경우도 있어요.

출처: Linkerd Bringing your own Prometheus

본문

이 튜토리얼에서는 컨트롤 플레인과 프록시의 메트릭을 외부 Prometheus 인스턴스가 스크레이프하도록 구성하는 방법을 보여줘요. 이때 스크레이프된 메트릭은 사용자와 Linkerd 컨트롤 플레인 컴포넌트(web 등) 모두가 소비할 수 있는 형식이에요.

Linkerd 프로덕션 팁

이 페이지에는 오픈 소스 커뮤니티가 제공하는 best-effort 지침이 담겨 있어요. 미션 크리티컬 애플리케이션을 운영하는 프로덕션 사용자는 Linkerd 프로덕션 리소스에 익숙해지고/거나 상용 Linkerd 제공업체와 연락을 취하는 게 좋아요.

여기서 다뤄야 할 두 가지 핵심 포인트가 있어요.

  • 외부 Prometheus 인스턴스가 Linkerd 메트릭을 가져오도록 구성하기.
  • linkerd-viz 확장이 그 Prometheus를 쓰도록 구성하기.

Prometheus 스크레이프 구성

다음 스크레이프 구성은 외부 Prometheus 인스턴스에 적용해야 해요.

참고

아래 스크레이프 구성은 전체 linkerd-prometheus 스크레이프 구성의 일부분이에요.

적용하기 전에, 템플릿 값({{}} 안에 있는 값)을 실제 값으로 치환해야 아래 구성이 동작해요.

- job_name: 'linkerd-controller'
  kubernetes_sd_configs:
    - role: pod
      namespaces:
        names:
          - '{{.Values.linkerdNamespace}}'
          - '{{.Values.namespace}}'
  relabel_configs:
    - source_labels:
        - __meta_kubernetes_pod_container_port_name
      action: keep
      regex: admin-http
    - source_labels: [__meta_kubernetes_pod_container_name]
      action: replace
      target_label: component

- job_name: 'linkerd-service-mirror'
  kubernetes_sd_configs:
    - role: pod
  relabel_configs:
    - source_labels:
        - __meta_kubernetes_pod_label_component
        - __meta_kubernetes_pod_container_port_name
      action: keep
      regex: linkerd-service-mirror;admin-http$
    - source_labels: [__meta_kubernetes_pod_container_name]
      action: replace
      target_label: component

- job_name: 'linkerd-proxy'
  kubernetes_sd_configs:
    - role: pod
  relabel_configs:
    - source_labels:
        - __meta_kubernetes_pod_container_name
        - __meta_kubernetes_pod_container_port_name
        - __meta_kubernetes_pod_label_linkerd_io_control_plane_ns
      action: keep
      regex:
        ^{{default .Values.proxyContainerName "linkerd-proxy"
        .Values.proxyContainerName}};linkerd-admin;{{.Values.linkerdNamespace}}$
    - source_labels: [__meta_kubernetes_namespace]
      action: replace
      target_label: namespace
    - source_labels: [__meta_kubernetes_pod_name]
      action: replace
      target_label: pod
    # special case k8s' "job" label, to not interfere with prometheus' "job"
    # label
    # __meta_kubernetes_pod_label_linkerd_io_proxy_job=foo =>
    # k8s_job=foo
    - source_labels: [__meta_kubernetes_pod_label_linkerd_io_proxy_job]
      action: replace
      target_label: k8s_job
    # drop __meta_kubernetes_pod_label_linkerd_io_proxy_job
    - action: labeldrop
      regex: __meta_kubernetes_pod_label_linkerd_io_proxy_job
    # __meta_kubernetes_pod_label_linkerd_io_proxy_deployment=foo =>
    # deployment=foo
    - action: labelmap
      regex: __meta_kubernetes_pod_label_linkerd_io_proxy_(.+)
    # drop all labels that we just made copies of in the previous labelmap
    - action: labeldrop
      regex: __meta_kubernetes_pod_label_linkerd_io_proxy_(.+)
    # __meta_kubernetes_pod_label_linkerd_io_foo=bar =>
    # foo=bar
    - action: labelmap
      regex: __meta_kubernetes_pod_label_linkerd_io_(.+)
    # Copy all pod labels to tmp labels
    - action: labelmap
      regex: __meta_kubernetes_pod_label_(.+)
      replacement: __tmp_pod_label_$1
    # Take `linkerd_io_` prefixed labels and copy them without the prefix
    - action: labelmap
      regex: __tmp_pod_label_linkerd_io_(.+)
      replacement: __tmp_pod_label_$1
    # Drop the `linkerd_io_` originals
    - action: labeldrop
      regex: __tmp_pod_label_linkerd_io_(.+)
    # Copy tmp labels into real labels
    - action: labelmap
      regex: __tmp_pod_label_(.+)

또한 Prometheus 스크레이프 간격이 Prometheus 쿼리의 시간 범위보다 짧아야 해요. 웹 대시보드와 Linkerd Grafana가 올바르게 동작하도록 10초 스크레이프 간격을 권장해요:

global:
  scrape_interval: 10s
  scrape_timeout: 10s
  evaluation_interval: 10s

내장 Prometheus의 실행 중인 구성을 참고 자료로 사용할 수 있어요.

kubectl -n linkerd-viz  get configmap prometheus-config -o yaml

Linkerd-Viz 확장 구성

Linkerd의 viz 확장 컴포넌트들(metrics-api 등)은 대시보드와 CLI를 구동하기 위해 Prometheus 인스턴스에 의존해요.

prometheusUrl 필드는 이 모든 컴포넌트를 외부 Prometheus URL로 구성할 수 있는 단일 지점을 제공해요. 이 값은 Helm과 CLI 양쪽 모두에서 설정할 수 있어요. 추가로, 외부 Prometheus가 기본 인증(basic auth)으로 보호된다면 그 자격 증명을 Secret에서 가져오거나 URL에 포함시킬 수 있어요.

Helm

Helm으로 외부 Prometheus 인스턴스를 구성하려면 values.yaml 파일에 prometheusUrl을 설정하면 돼요:

prometheusUrl: http://existing-prometheus.namespace:9090

외부 Prometheus가 기본 인증으로 보호된다면 자격 증명을 Secret에 저장하거나 URL에 직접 넣을 수 있어요.

Secret 사용을 권장해요 – 먼저 Linkerd Viz와 같은 네임스페이스에 Secret을 만드세요:

kubectl create secret generic \
  prometheus-credentials -n linkerd-viz \
  --from-literal=user=your-username
  --from-literal=password=your-password

그런 다음 values.yaml에서 Secret을 참조하세요:

prometheusUrl: http://existing-prometheus.namespace:9090
prometheusCredsSecret: prometheus-credentials

Secret을 쓸 수 없다면 URL에 자격 증명을 직접 포함시키는 대신 방법을 쓸 수 있어요:

prometheusUrl: http://username:[email protected]:9090

마지막으로, 외부 Prometheus를 쓰면서 prometheusUrl 필드를 구성할 때, 비활성화하지 않는 한 Linkerd의 Prometheus가 여전히 설치에 포함돼요:

prometheus:
  enabled: false

이 구성은 설치 간에 유지되지 않아요: 재설치, 업그레이드 등에서 같은 values.yaml을 다시 전달해야 해요.

Helm으로 설치하는 방법에 대한 더 자세한 정보는 여기에서 찾을 수 있어요.

CLI

CLI로 설치할 때는 --values 스위치로 Helm에서 쓰는 것과 같은 values.yaml을 사용하거나, prometheusUrl을 직접 설정할 수 있어요. 예:

linkerd viz install \
    --set prometheus.enabled=false \
    --set prometheusUrl=http://existing-prometheus.namespace:9090

prometheusCredsSecret도 직접 설정할 수 있어요:

linkerd viz install \
    --set prometheus.enabled=false \
    --set prometheusUrl=http://existing-prometheus.namespace:9090 \
    --set prometheusCredsSecret=prometheus-credentials

더 알아보기 (Learn more)