로그 옵티마이저
개요
Log Optimizer는 대량의 반복적이거나 노이즈가 많은 데이터를 생성하는 로그 패턴을 식별하는 데 도움을 줘요. Datadog는 인덱스된 로그를 분석하고 로그를 제외하거나, 샘플링하거나, 메트릭으로 변환하는 것 같은 조치를 추천해요. 이를 통해 로그 용량을 최적화하고 문제 해결·분석에 가장 관련 있는 정보에 집중할 수 있어요.
이 기능은 Logging without Limits™를 기반으로 하며 Exclusion Filters와 Logs to Metrics 같은 도구를 보완해요.
출처: 문서
본문
작동 방식
Datadog는 인덱스된 로그를 지속적으로 검토해 크거나 반복적인 데이터 용량을 생성하는 패턴을 찾아요. Log Optimizer는 하루에 한 번 이러한 패턴을 Datadog 모범 사례와 비교 평가하고 최적화의 혜택을 받을 수 있는 로그를 식별해요.
그런 다음 Log Optimizer는 디버그 레벨 메시지 제외, 일상 로그 샘플링, 정적 메시지를 메트릭으로 변환 같은 조치를 제안해 중요한 이벤트에 대한 가시성을 잃지 않고 노이즈를 줄일 수 있게 해요.
{% alert level="danger" %} Log Optimizer는 기존 제외 필터나 로그-메트릭 변환을 고려하지 않아요. 중복을 피하려면 새 조치를 적용하기 전에 설정을 검토하세요. {% /alert %}
Datadog가 분석하는 것
- 인덱스된 로그: 분석은 Standard 및 Flex 인덱스에 저장된 로그를 대상으로 해요.
- 고용량 패턴: Datadog는 전체 로그 용량의 상당한 비중을 차지하는 패턴을 감지해요.
- 메시지 일관성과 내용: 반복되거나 변동성이 낮은 메시지를 가진 로그는 최적화 후보로 평가돼요. 예를 들어 로그 메시지가 성공 작업("process executed successfully" 등)을 나타내면 Log Optimizer는 노이즈를 줄이기 위해 해당 로그를 제외할 것을 추천할 수 있어요.
- 플랫폼 전반의 모니터 사용량: Datadog는 추천 패턴을 활성 모니터 목록과 대조해 로그가 어디에 사용되는지 보여줘요.
추천 조치
각 추천에는 설명과 제안된 조치가 포함돼요.
| 추천 | 설명 | 일반적인 예시 |
|---|---|---|
| Exclude(제외) | 노이즈를 더해 중요한 신호에 집중하기 어렵게 만드는 로그의 인덱싱을 중지하세요. | 디버그 레벨 메시지 또는 장황한 시스템 출력. |
| Sample(샘플링) | 가시성을 잃지 않고 반복 로그의 비율을 낮춰 노이즈를 줄이세요. | 변동성이 거의 없는 로그(타임스탬프나 ID 같은 필드만 바뀌는 경우). |
| Convert to metric(메트릭으로 변환) | 반복 로그를 메트릭으로 대체해 시간 경과에 따른 횟수나 추세를 추적하세요. | 항상 같은 메시지나 상태를 표시하는 로그. |
추천 검토 및 적용
Log Optimizer 페이지로 이동해 각 추천에 대한 로그 패턴, 샘플 메시지, 용량 데이터, 평이한 언어 설명을 보세요.
추천을 적용하려면:
- 추천을 클릭해 사이드 패널을 여세요.
- 조치 버튼(Exclude Logs, Sample Logs, Create Metric)을 클릭하세요.
변경은 구성에서 즉시 적용돼요. 다만 Log Optimizer 페이지는 다음 일일 분석이 실행될 때까지 새로 고침되지 않으므로 추천이 잠시 여전히 표시될 수 있어요.
또한 조직의 다른 팀과 검토를 시작하려면 티켓을 만드세요. Jira 티켓을 열거나 Datadog Work Management로 작업 항목을 만드세요. 처리한 추천은 resolved로 표시해 추천 피드에서 숨길 수 있어요.
{% collapsible-section %}
사례 연구: Log Optimizer로 반복 로그 데이터 제외하기
Log Optimizer 페이지를 검토할 때 shopist-support 서비스에서 고용량 패턴을 발견하게 돼요. "Verifying ticket" 메시지가 여러 호스트에서 하루에 130만 회 이상 나타나요.
Datadog은 이를 변하지 않는 반복 패턴으로 감지하고 메트릭으로 변환하고 로그를 인덱싱에서 제외할 것을 추천해요. 추천을 검토하고 이 로그들이 반복적임을 확인한 뒤 Recommendation 사이드 패널에서 직접 제외를 적용해요.
같은 서비스의 치명적 오류 로그는 계속 표시되므로 관측 가능성을 잃지 않으면서 의미 있는 신호에 집중할 수 있어요. 다음 일일 분석 후 갱신된 구성에서 인덱스된 용량이 줄어든 것을 볼 수 있어요. {% /collapsible-section %}
적용된 변경 추적
추천을 적용하면 로그로부터 제외 필터 또는 메트릭이 생성돼요. 해당 필터나 메트릭 정의를 보거나, 변경하거나, 제거하려면 해당 페이지로 이동하세요:
- 제외 필터: Logs Indexes 페이지
- 로그-메트릭 변환: Metrics Configuration 페이지
이 구성들은 각자의 페이지에서 언제든 편집하거나 제거할 수 있어요.