본문 바로가기
WIKI 기술 지식 베이스

Flex Logs

원문 보기 위키 갱신

개요

조직이 규모를 키우면서 인프라와 애플리케이션에서 수집하는 로그의 양도 함께 늘어나요. 로그의 사용 사례도 더 복잡해져요. 예를 들어 인프라, 애플리케이션, 보안 도구, 네트워크 등에서 로그를 수집하고 있을 수 있어요. 이러한 모든 사용 사례는 서로 다른 보존·쿼리 요구사항을 가져요.

Flex Logs를 사용하면 팀이 시간에 민감한 사고, 보안 조사, 규정 준수 감사 등 자신의 사용 사례를 충족하는 데 필요한 쿼리 용량을 결정할 수 있어요. Flex Logs는 스토리지 비용에서 컴퓨트 비용을 분리해 비용 효율적인 장기 보존을 제공해요.

Flex 스토리지의 예시 사용 사례:

  • 장기 감사를 위한 로그 보존.
  • 규정 준수·법적 사유를 위한 로그 보존.
  • 보안 조사에 필요한 모든 로그 확보.
  • 긴 기간에 걸친 고카디널리티 데이터의 보고·분석을 위한 로그 쿼리 필요성.

출처: 문서

본문

Flex Logs를 사용할 때

Datadog Log Management는 다음 솔루션을 제공해요:

  • 자주 쿼리하고 단기 보존해야 하는 애플리케이션 로그 같은 로그를 위한 표준 인덱싱(Standard Indexing).
  • 장기 보존해야 하지만 때때로 긴급하게 쿼리해야 하는 보안, 트랜잭션, 네트워크 로그 같은 로그를 위한 Flex Logs.
  • 자주 쿼리하지 않고 장기 저장해야 하는 감사·구성 로그 같은 로그를 위한 아카이빙(Archiving).

아래 이미지에 표시된 로그 유형의 스펙트럼을 사용해 Flex Logs 티어를 언제 사용할지 결정하세요. 대량, 저빈도 접근, 또는 장기 보존 로그 소스가 좋은 후보예요. 또한 먼저 Standard Indexing에 로그를 보존한 다음 Flex Logs로 확장할 수도 있어요. 더 오래 보존해야 하는 애플리케이션 로그에 완벽한 솔루션이에요. 자세한 내용은 Flex Logs 티어로 직접 보낼 잠재적 소스를 참고하세요.

참고:

  • 모니터는 Flex Logs에서 지원되지 않아요.
  • Watchdog은 Flex Logs에서 지원되지 않아요.
  • 대시보드는 Flex Logs에서 지원돼요. 다만 컴퓨트 크기를 선택할 때 이러한 대시보드 쿼리를 고려해야 해요.

컴퓨트 크기

컴퓨트는 Flex Logs에 대한 쿼리를 실행하는 쿼리 용량이에요. Flex Logs 티어의 로그를 쿼리할 때 사용돼요. 수집 또는 Standard Indexing 로그만 검색할 때는 사용되지 않아요. 사용 가능한 컴퓨트 티어는 다음과 같아요:

{% alert level="danger" %} US3, US5, AP1, AP2, US1-FED, US2-FED에서 사용 가능한 컴퓨트 크기는 Starter, XS, XS+, S예요. {% /alert %}

  • Starter
  • Extra small (XS)
  • Extra small plus (XS+)
  • Small (S)
  • Medium (M)
  • Large (L)

각 컴퓨트 티어는 이전 티어보다 쿼리 성능·용량이 약 2배예요. 컴퓨트 크기는 동시 쿼리 수와 쿼리당 스캔할 수 있는 최대 로그 수에 의해 제약돼요.

필요한 컴퓨트 크기 결정

컴퓨트 티어의 쿼리 성능은 여러 요인에 따라 달라져요:

  • 용량(Volume): Flex 티어에 저장된 데이터의 양.
  • 시간 창(Time window): 쿼리의 시간 범위(예: 15분 창 대 1개월 분량의 로그).
  • 복잡성(Complexity): 실행하는 쿼리의 유형(예: 여러 수준의 집계 수행, 여러 필터 사용 등).
  • 동시성(Concurrency): Flex Logs를 동시에 쿼리하는 사용자 수.

컴퓨트 티어를 결정할 때 다음 요인을 고려하세요:

  • 일일 로그 용량과 Flex 티어에 저장된 로그 수.
  • Flex 티어 로그를 정기적으로 쿼리하는 사용자 수.
  • 실행하는 쿼리의 빈도와 유형. 예를 들어 로그를 쿼리할 때 일반적으로 사용하는 쿼리 시간 창.

Flex 티어에 저장된 로그 수는 데이터를 성능 있게 쿼리하는 데 필요한 크기에 가장 큰 영향을 미쳐요. Datadog는 로그 용량에 따라 다음 컴퓨트 크기를 권장해요:

크기 용량(누적 이벤트 저장)
Starter < 100억
Extra Small (XS) 100억 - 500억
Extra Small Plus (XS+) 500억 - 1000억
Small (S) 1000억 - 2000억
Medium (M) 2000억 - 5000억
Large (L) 5000억 - 1조
고객 성공 매니저에 문의 1조 이상

확장 가능한(XS, XS+, S, M, L) 컴퓨트 티어는 고정 요율로 청구돼요. Flex Logs Starter는 번들(스토리지+컴퓨트) 요율로 청구돼요. 자세한 내용은 가격 페이지를 참고하세요.

Flex Logs 활성화 및 비활성화

조직 수준에서 Flex Logs를 활성화하거나 비활성화할 수 있어요. flex_logs_config_write 권한이 있어야 해요.

Flex Logs가 계약에 포함되어 있다면 계약에서 사용 가능한 컴퓨트 옵션이 UI에 표시돼요.

Flex Logs가 계약에 포함되어 있지 않다면 셀프서비스 온보딩 옵션으로 Flex Logs Starter를 활성화할 수 있어요.

Flex Logs를 활성화하려면:

  1. Flex Logs Control 페이지로 이동하세요.
  2. Compute Type을 선택하세요.
    • Datadog는 저장된 로그가 10B 미만인 조직에 Starter 컴퓨트 크기를 권장해요.
    • Datadog는 저장된 로그가 10B(또는 월별 2-3B)를 초과하는 조직에 확장 가능한 컴퓨트 옵션(예: XS, XS+, S, M, L)을 권장해요.
  3. 원하는 컴퓨트 크기를 선택하세요. 자세한 내용은 필요한 컴퓨트 크기 결정을 참고하세요.
  4. Enable Flex Logs를 클릭하세요.

셀프서비스 Flex Logs에서 오프보드

Flex Logs를 비활성화하려면:

  1. Flex Logs가 활성화된 각 인덱스에서 Flex Storage를 제거하세요.
  2. Flex Logs Control 페이지로 다시 이동하세요.
  3. 기어 아이콘을 클릭하고 Disable Flex Logs를 선택하세요.

Flex Logs 컴퓨트 업그레이드 및 다운그레이드

Flex Logs에 확장 가능한 컴퓨트 옵션 중 하나(예: XS, XS+, S, M, L)를 선택했다면 Flex Logs Control 페이지에서 컴퓨트 크기를 업그레이드하거나 다운그레이드할 수 있어요.

참고:

  • 계약에 있는 컴퓨트 옵션만 사용할 수 있어요. Flex Starter에서 확장 가능한 컴퓨트 옵션으로 업그레이드해도 변경이 자동으로 적용되지 않아요. 새 크기를 활성화하려면 Flex Logs Controls 페이지로 가서 원하는 컴퓨트 옵션을 선택한 뒤 Save를 클릭하세요.
  • 컴퓨트 인스턴스는 언제든 업그레이드할 수 있어요.
  • 컴퓨트 인스턴스는 15일마다 한 번 다운그레이드할 수 있어요.

스토리지 티어 구성

Flex Logs는 로그 인덱스 구성 내에서 설정돼요. 해당 인덱스에 적용되는 인덱스 필터는 Flex Logs에도 적용돼요. Flex Logs Starter에서는 로그를 3, 6, 12, 15개월 동안 저장할 수 있어요. 확장 가능한 컴퓨트 옵션에서는 로그를 30-450일 동안 저장할 수 있어요.

Flex Logs Controls 페이지에서 Flex 티어를 구성하세요:

  1. Indexes Configuration을 클릭하세요.
  2. Flex Logs로 활성화하려는 인덱스를 편집하거나 새 인덱스를 만드세요.
  3. Flex Tier를 선택하고 Configure Storage Tier and Retention에서 보존 기간을 설정하세요.

참고: 두 티어를 모두 선택하면 로그는 구성된 보존 기간이 끝날 때까지 Standard 티어에 저장된 후 Flex 티어에 저장돼요. 예를 들어 Standard 티어 보존 3일과 Flex 티어 보존 90일을 선택하면 해당 인덱스의 로그는 먼저 3일 동안 Standard 티어에 저장된 후 나머지 87일 동안 Flex 티어에 저장돼요.

다음 표는 인덱스에 서로 다른 스토리지 티어를 추가·제거할 때의 영향을 설명해요.

기존 인덱스 구성 동작 결과
Standard 티어 Flex 티어
활성화 비활성화 Flex 티어 활성화.
비활성화 활성화 Standard 티어 활성화.
활성화 비활성화 Flex 티어 활성화 + Standard 티어 제거.

Flex Logs 티어 검색

Log Explorer에서 Include Flex Logs 옵션을 켜면 검색 쿼리 결과에 Flex 티어 로그가 포함돼요. 이 옵션은 시간 선택기 옆에서 찾을 수 있어요.

검색 창에 쿼리를 입력하거나 패싯 패널에서 관련 패싯을 선택해 검색하세요.

Flex Log 쿼리를 대시보드에 추가할 수 있지만, 컴퓨트 크기를 선택할 때 이러한 대시보드 쿼리를 고려해야 해요.

참고: 모니터 쿼리는 Flex Logs에서 지원되지 않아요.

추가 정보

Flex Logs로 직접 보낼 잠재적 소스

다음 목록은 먼저 Standard Indexing에 저장하지 않고 Flex 티어로 직접 로그를 보내기에 좋은 후보인 로그 소스의 예시예요. 이는 완전한 목록이 아니며 이 구성에 적합한 로그 유형에 대한 아이디어를 주기 위한 것이에요. 애플리케이션 로그 같은 다른 로그 소스도 라이브 문제 해결, 알림, 디버깅을 위해 먼저 Standard Indexing에 보낸 후 Flex 티어로 보낼 수 있어요. 이 소스들에 대한 사용 사례는 다를 수 있으므로 Standard Indexing을 건너뛸지 결정할 때 고려하는 것이 중요해요.

참고: 이 예시들은 각 범주의 표본이에요. Flex 티어로 직접 보내고 싶은 범주, 서비스, 도구, 기술이 더 많아요.

기술 예시
아티팩트 관리 JFrog Artifactory, Archiva, Sonatype Nexus
감사 로그 Amazon Cloudtrail, Kubernetes audit logs, Microsoft 365 audit
CDN 서비스 Akamai, Cloudflare, Fastly, CloudFront
CI/CD 서비스 GitLab, GitHub Actions, Argo CD, Jenkins, CircleCI, TeamCity
DNS 서비스 Route53, Cloudflare, Akamai (Edge), NS1
ID 서비스 Cisco ISE, Okta, OneLogin, Workday User Activity Logs
로드밸런서 AWS ELB, ALB, NLB (GCP·Azure 버전), F5, NGINX
네트워크 기기 Cisco, Meraki, Juniper, Arbua, HPE, Palo Alto, Barracuda
네트워크 서비스 WAF, Amazon VPC Flow Logs, AWS ELB, pfSense, Tailscale
서비스 메시 Anthos, Istio, proxyv2, consul, Linkerd, Kong

여러 조직 계정을 위한 Flex Logs

{% alert level="danger" %} 각 조직은 한 번에 하나의 컴퓨트 크기만 사용할 수 있어요. 컴퓨트 크기는 조직 간에 공유할 수 없으며, starter와 확장 가능한 컴퓨트를 같은 조직 내에서 동시에 사용할 수 없어요. {% /alert %}

Flex Logs를 사용하려는 각 조직에 대해 컴퓨트 크기를 활성화해야 해요. Datadog는 로그 용량이 큰 조직에 Flex Logs 확장 가능한 컴퓨트 크기(XS, XS+, S, M, L)를 권장해요. 다중 조직 설정에서는 로그 용량이 낮은 조직이 많은 경우가 많으므로, 이러한 조직에는 Flex Logs Starter 컴퓨트 크기를 권장해요.

컴퓨트 한도에 도달했을 때

조직이 동시 쿼리 측면에서 컴퓨트 한도에 도달하면 쿼리는 용량이 생길 때까지 계속 재시도되므로 느려질 수 있어요. 쿼리가 여러 번 재시도되면 실행에 실패할 수 있어요. 이런 상황에서는 Flex Logs 컴퓨트 용량이 제약되어 관리자에게 연락해야 한다는 오류 메시지가 표시돼요.

더 알아보기 (Learn more)