본문 바로가기
WIKI 기술 지식 베이스

수집된 로그에서 메트릭 생성

원문 보기 위키 갱신

개요

{% alert level="info" %} 이 문서에 설명된 솔루션은 클라우드 기반 로깅 환경에 한정돼요. 온프레미스 로그에서 메트릭을 생성하려면 Observability Pipelines 문서를 참고하세요. {% /alert %}

Datadog의 Logging without Limits*는 저장·쿼리를 위해 인덱스에 무엇을 포함하거나 제외할지 동적으로 결정하게 해주는 동시에, 많은 유형의 로그는 KPI 같은 추세를 장기간 추적하기 위한 텔레메트리로 사용되도록 만들어졌어요. 로그 기반 메트릭은 전체 수집 스트림의 로그 데이터를 요약하는 비용 효율적인 방법이에요. 즉 제외 필터로 탐색을 위해 저장하는 것을 제한하더라도, 모든 로그 데이터에서 10초 단위로 15개월 동안 추세와 이상 현상을 시각화할 수 있어요.

로그 기반 메트릭을 사용하면 쿼리와 일치하는 로그의 카운트 메트릭을 생성하거나, 로그에 포함된 요청 지속 시간 같은 숫자 값의 분포 메트릭을 생성할 수 있어요.

청구 참고: 수집된 로그에서 생성된 메트릭은 Custom Metrics로 청구돼요.

출처: 문서

본문

로그 기반 메트릭 생성

새 로그 기반 메트릭을 생성하려면:

  1. Generate Metrics 페이지로 이동하세요.
  2. Generate Metrics 탭을 선택하세요.
    • New Metric을 클릭하세요.

Analytics 검색에서도 Export 메뉴의 Generate new metric 옵션을 선택해 메트릭을 만들 수 있어요.

새 로그 기반 메트릭 추가

  1. 로그 스트림을 필터링할 쿼리를 입력하세요: Log Explorer 검색 구문을 사용해 쿼리를 작성하세요. Datadog는 인덱스된 로그가 아니라 수집 시점에 스트림 필터 쿼리를 로그 스트림에 대해 평가해요. 이 필터는 전체 텍스트 검색 (*:search_term)을 포함한 모든 Log Explorer 검색 기능을 지원하지 않아요. Log Explorer에서 결과를 반환하는 쿼리도 여기서는 일치하는 로그가 없을 수 있어요. 집계는 지난 20분 이내의 타임스탬프로 수집된 로그만 고려해요. 쿼리에서 인덱스를 제외하세요.

메트릭을 저장한 후, 신뢰하기 전에 Metrics Explorer에서 데이터포인트를 생성하는지 확인하세요. 쿼리가 Log Explorer의 로그와 일치하지만 메트릭이 비어 있으면 용어를 따옴표로 감싼 구로 다시 쓰세요. 예: message:"Database operation failed.".

  1. 추적하려는 필드를 선택하세요: 모든 로그의 카운트를 생성하려면 *를 선택하거나, 숫자 값을 집계하고 해당 count, min, max, sum, avg 집계 메트릭을 만들려면 로그 속성(예: @network.bytes_written)을 입력하세요. 로그 속성 패싯이 측정값이라면 메트릭 값은 로그 속성의 값이에요.

  2. group by에 차원을 추가하세요: 기본적으로 로그에서 생성된 메트릭은 명시적으로 추가하지 않는 한 태그가 없어요. 로그에 존재하는 어떤 속성 또는 태그 차원(예: @network.bytes_written, env)도 메트릭 태그를 만드는 데 사용할 수 있어요. 메트릭 태그 이름은 @ 없이 원래 속성 또는 태그 이름과 같아요.

  3. 백분위 집계를 추가하세요: 분포 메트릭의 경우 선택 사항으로 p50, p75, p90, p95, p99 백분위를 생성할 수 있어요. 백분위 메트릭도 사용자 정의 메트릭으로 간주되며 그에 따라 청구돼요.

  4. 메트릭 이름을 지으세요: 로그 기반 메트릭 이름은 custom metric 명명 규칙을 따라야 해요.

참고: Datadog는 로그 기반 메트릭의 데이터포인트를 10초 간격으로 생성해요. 로그 기반 메트릭에 대한 대시보드 그래프를 만들 때 count unique 파라미터는 10초 간격 내의 값을 사용해요.

{% alert level="danger" %} 로그 기반 메트릭은 custom metrics로 간주되며 그에 따라 청구돼요. 청구에 영향을 주지 않도록 타임스탬프, 사용자 ID, 요청 ID, 세션 ID 같은 무제한 또는 매우 높은 카디널리티 속성으로 그룹화하는 것을 피하세요. {% /alert %}

로그 기반 메트릭 갱신

메트릭이 생성된 후 다음 필드를 갱신할 수 있어요:

  • 스트림 필터 쿼리: 메트릭으로 집계할 일치 로그 집합을 변경하려면
  • 집계 그룹: 생성된 메트릭의 태그를 갱신하거나 카디널리티를 관리하려면
  • 백분위 선택: Calculate percentiles 상자를 체크/체크 해제해 백분위 메트릭을 제거하거나 생성하려면

메트릭 유형이나 이름을 변경하려면 새 메트릭을 만들어야 해요.

로그 사용량 메트릭

사용량 메트릭은 현재 Datadog 사용량의 거의 실시간 추정치예요. 이를 통해:

  • 추정 사용량을 그래프로 표시.
  • 추정 사용량에 대한 모니터 생성.
  • 사용량의 급증·급감에 대한 즉각적인 알림 받기.
  • 코드 변경이 사용량에 미칠 잠재적 영향 거의 실시간 평가.

Log Management 사용량 메트릭에는 더 세밀한 모니터링에 사용할 수 있는 세 가지 태그가 함께 제공돼요:

태그 설명
datadog_index 로그를 의도된 인덱스에 매칭시키는 라우팅 쿼리를 나타내요.
datadog_is_excluded 로그가 제외 쿼리와 일치하는지 여부를 나타내요.
service 로그 이벤트의 service 속성.

참고: datadog_is_excluded와 datadog_index 필드는 N/A 값을 가질 수 있어요. 이는 로그가 수집되었지만 인덱스로 명시적으로 라우팅될 포함·제외 기준과 일치하지 않았음을 나타내요.

datadog.estimated_usage.logs.ingested_events 메트릭에는 로그 상태(info, warning 등)를 반영하는 추가 status 태그가 있어요.

더 알아보기 (Learn more)