Trace Explorer
Trace Explorer는 수집되거나 인덱스된 모든 스팬을 어떤 태그로든 검색할 수 있게 해주는 도구예요. 쿼리가 찾는 스팬은 Live(최근 15분 동안 수집된 모든 스팬, 롤링)를 검색하는지, 인덱스된 스팬(커스텀 필터로 15일 동안 보존된 스팬)을 검색하는지에 따라 달라져요.
출처: 문서
본문
개요 (Overview)
계측된 애플리케이션은 구성한 수집 제어에 따라 trace를 Datadog로 보내요. 수집된 trace는 15분 롤링 기간 동안 Live trace로 사용할 수 있어요.
Trace Explorer는 Live 모드에 있을 때마다 Live Search - All ingested data 표시기를 보여줘요.
그런 다음 모든 수집된 trace는 다음을 통과해요:
- 만들 수 있는 커스텀 보존 필터로 어떤 스팬을 인덱스할지 결정해요. 커스텀 보존 필터를 통해 인덱스되면 trace는 15일 동안 보존돼요.
- 다양한 trace 집합을 보존하는 기본 지능형 보존 필터. 지능형 보존 필터를 통해 인덱스되면 trace는 30일 동안 보존돼요.
인덱스된 스팬을 검색할 때마다 Trace Explorer는 Search - Only Indexed Data 표시기를 보여줘요.
Live Search는 Traces 페이지의 기본 보기예요. 오른쪽 상단의 시간 선택기를 사용해 Live Search에서 Indexed Data Search로 전환해요.
Trace Patterns
Preview 참여하기!
Trace Patterns는 Preview 단계예요. 이 양식으로 오늘 신청하세요.
Trace Patterns는 구조와 속성이 유사한 스팬을 반복 패턴으로 그룹화해서, 개별적으로 읽는 대신 한 번에 수천 개의 trace에서 동작을 분석할 수 있게 해줘요. 쿼리가 trace 단위로 훑기엔 너무 많은 스팬을 반환할 때 Trace Patterns를 사용해요. 예를 들어 이번 주에 새로 생긴 오류 형태를 찾거나 배포 후 어떤 레이턴시 패턴이 바뀌었는지 찾는 경우요.
Trace 볼륨 제어 (Trace volume control)
보내고 유지할 데이터를 정확히 맞춤 설정하기 위해 수집과 보존 모두에 대한 설정을 커스터마이즈할 수 있어요.
수집 (Ingestion)
Datadog Agent 구성 옵션으로 전역적으로 볼륨을 제어하거나, Datadog APM으로 계측된 각 서비스에 정확한 수집 규칙을 설정할 수 있어요.
인덱싱 (Indexing)
서비스를 계측하고 trace를 수집한 후 Datadog 앱 안에서 태그 기반 보존 필터를 설정해 관련 있는 스팬을 Datadog가 보존하도록 해요.
참고: 수집된 스팬과 인덱스된 스팬 모두 청구에 영향을 줄 수 있어요. 자세한 내용은 APM Billing을 참고해요.
15분 Live Search (Live Search for 15 minutes)
Live Search를 사용하면 Datadog가 Datadog Agent가 보낸 스팬을 보존 필터로 인덱스하기 전에 즉시 표시해요. 모든 수집된 스팬은 샘플링 없이 표시되며 최근 15분(롤링 기간) 동안 사용할 수 있어요.
목록 보기 (List view): List view로 다음을 할 수 있어요:
- 모든 태그의
version_id로 필터링해 새 배포가 순조롭게 진행되는지 모니터링해요. - 문제가 있는 하위 스팬과 연관된 특정
org_id또는customer_id에 대해 수집된 trace의 100%를 검색해 장애 관련 정보를 실시간으로 확인해요. process_id를 입력하고 새 프로세스 ID를 하위 스팬의 태그로 자동 완성해 프로세스가 올바르게 시작했는지 확인해요.- 하위 리소스의 duration으로 필터링해 엔드포인트의 부하 테스트와 성능 영향을 모니터링해요.
- trace 패널 보기에서 아무 스팬이나 태그에서 원클릭 검색 쿼리를 실행해요.
- 스팬 태그로 열을 추가·제거·정렬해 커스터마이즈된 보기를 만들 수 있어요.
초당 수신된 스팬 수가 trace 테이블 상단에 표시돼요. 초당 수천 개의 스팬 스트림은 사람이 읽기 어려우므로, 높은 처리량의 스팬 스트림은 시각적 명확성을 위해 일부 스팬만 표시해요. 모든 스팬은 검색 쿼리에서 검색할 수 있어요. Live Search 쿼리 바 필터링 기능으로 스팬 스트림을 필터링하고, 화면 오른쪽 상단의 Pause/Play 버튼으로 스트림을 일시 중지하거나 재개할 수 있어요.
참고: 스팬을 선택하면 스트림이 일시 중지되고 trace 사이드 패널에 선택한 스팬에 대한 자세한 정보가 표시돼요.
시계열 보기 (Timeseries View): Timeseries 보기를 사용해 스팬을 목록 대신 시계열로 시각화할 수 있어요. Live Search Timeseries 보기는 지정된 기준과 일치하는 요청이나 오류를 그래프로 그리는 데 유용해요. 예를 들어:
- 장바구니 값이 최소
$100인ShoppingCart##checkout서비스·엔드포인트의 오류. 이러한 기준과 일치하는 trace를 개별적으로 볼 수 있어요. - 중요 애플리케이션 업데이트의 카나리(canary) 배포를 실시간으로 모니터링해요.
- iOS 애플리케이션 최신 버전에 범위가 좁혀진 지리적 지역별 레이턴시를 비교해요.
쿼리와 일치하는 요청에 대한 시계열 표시 외에도, 장애나 조사 중에 가장 큰 영향을 받은 고객, 가용성 영역 또는 기타 태그의 상위 목록으로 스팬을 시각화할 수도 있어요.
참고: 대시보드와 모니터로의 내보내기는 보존된 스팬을 사용해서만 가능해요.
필터링 (Filtering)
검색 바에서 유효한 쿼리는 모든 스팬에 걸쳐 검색 기준과 일치하는 trace를 표시해요. 검색 구문은 다른 trace 보기와 Live Search 보기에서 동일하지만, 여기서는 인덱스된 것뿐 아니라 모든 스팬과 모든 태그에 걸쳐 수집된 모든 trace에 대해 쿼리가 일치해요.
trace 테이블 위의 상자에서 선택을 변경해 서비스 엔트리 스팬, 루트 스팬 또는 모든 스팬을 쿼리하도록 선택할 수 있어요. 이 기능은 트래픽이 많은 애플리케이션에서 표시되는 스팬 수를 줄이고 서비스의 엔트리포인트 스팬이나 trace의 엔트리포인트만 보려고 할 때 유용해요. 이 상자를 선택하면 목록에 표시되는 스팬만 필터링돼요. 나머지는 스팬을 클릭해 trace 세부 정보를 볼 때 플레임 그래프에 여전히 표시돼요.
페이싯(facet)으로 정의되지 않은 속성으로도 필터링할 수 있어요. 예를 들어 cart.value 속성으로 필터링하려면 두 가지 옵션이 있어요:
- trace 세부 정보 패널에서
cart.value속성을 클릭해 검색 쿼리에 추가해요. - 검색 쿼리 바에 "cart.value"를 입력해
cart.value속성이 있는 모든 스팬을 필터링해요.
통합 인사이트로 이상 분석하기 (Analyzing anomalies with integrated insights)
Trace Explorer는 자동 Watchdog 이상 탐지와 TAG Analysis를 결합해 문제의 근본 원인을 빠르게 식별할 수 있게 도와줘요. Watchdog가 오류나 고레이턴시 스팬에 통계적으로 과대표현된 태그를 감지하면 이 인사이트는 여러 곳에 표시돼요:
- 검색 제안: 검색 바에 입력하면 이상 태그가 오류나 레이턴시 문제와 상관 관계가 있음을 보여주는 표시기와 함께 제안으로 나타나요.
- 그룹화 기준 권장: 그룹화할 속성을 선택할 때 이상 facet이 강조 표시되어 조사를 안내해요.
- Facets 사이드바: 이상 태그가 전용 "OUTLIERS" 섹션의 facets 목록 맨 위로 승격돼요.
- RED 메트릭: 관련 이상이 감지되면 오류·레이턴시 그래프 옆의 "Analyze" 버튼이 강조 표시돼요.
trace 목록을 Duration으로 정렬하면 Investigate With Bits AI를 클릭해 자동 레이턴시 조사를 시작할 수 있어요. Bits AI는 표시된 trace에서 병목 지점과 태그 분기(tag divergence)를 분석해요. 자세한 내용은 Latency investigations를 참고해요.
15일 보존 인덱스 스팬 검색 (Indexed spans search with 15 day retention)
Live Search와 같은 방식으로 보존된 trace를 검색할 수 있어요. 라이브 데이터 검색에서 보존 데이터 검색으로 전환하려면 시간 선택기를 15분보다 큰 기간으로 변경해요. 보존 필터로 인덱스된 모든 스팬은 검색에서 접근할 수 있어요. 이 스팬은 보존 필터로 인덱스된 후 Datadog에 의해 15일 동안 유지돼요.
목록 보기 (List view): 커스텀 보존 필터 와 지능형 보존 필터로 인덱스된 모든 스팬은 List view에서 검색할 수 있어요. 다만 어떤 보존 필터로도 인덱스되지 않은 스팬에만 나타나는 태그로 필터링하면 검색 결과가 없게 돼요. Live Search를 사용할 때와는 달라요.
시계열 보기 (Timeseries View): 커스텀 보존 필터 또는 지능형 보존 필터로 인덱스된 모든 스팬은 trace analytics를 사용할 때 검색할 수 있어요.
시계열 보기에서 쿼리를 대시보드, 모니터, 노트북으로 내보내 더 조사하거나, 스팬의 집계 수가 특정 임계값을 넘을 때 자동으로 알림을 보낼 수 있어요.
참고: 지능형 보존 필터로 인덱스된 스팬은 APM trace analytics 모니터 평가에서 제외돼요. 자세한 내용은 Trace Retention을 참고해요.
보존 구성 (Retention configuration)
어떤 스팬을 어떤 보존 비율로 보존할지 커스터마이즈할 수 있어요. 기본적으로 Datadog 지능형 보존 필터가 적용돼 오류·레이턴시 다양성과 낮은 처리량 리소스가 있는 trace를 자동으로 보존해요. 기본 지능형 보존 필터와 추가 필터를 만드는 방법에 대한 자세한 내용은 보존 필터 문서를 참고해요. Datadog 앱 안의 Retention Filters 페이지로 이동해 자체 필터를 만들거나 수정해요.