Datadog LLM Observability 개요
Datadog LLM Observability 개요
LLM 애플리케이션을 운영하다 보면 요청이 늘수록 "어디서 느려졌는지, 왜 오류가 나는지, 비용이 왜 이렇게 나오는지"를 한눈에 보기 어려워져요. Datadog의 Agent Observability(LLM Observability)는 챗봇 같은 LLM 앱의 요청 하나하나를 **트레이스(trace)**로 표현해, 모니터링·트러블슈팅·평가를 한 플랫폼에서 하게 해주는 기능이에요. 여기서는 이 플랫폼이 어떤 문제를 해결해 주는지, 어떤 단위로 데이터가 쌓이는지부터 살펴볼게요.
트레이스와 스팬으로 보는 요청 흐름
앱이 처리하는 요청 하나는 Datadog의 Agent Observability 페이지에서 트레이스 하나로 나타나요. 트레이스는 이렇게 여러 형태를 담을 수 있어요.
- 단일 LLM 추론 하나 — 토큰 수, 오류 정보, 지연 시간을 포함
- 정해진 LLM 워크플로우 — LLM 호출과 도구 호출·전처리 단계 같은 주변 작업을 묶은 것
- LLM 에이전트가 실행하는 동적인 워크플로우
각 트레이스는 에이전트가 내린 선택이나 워크플로우의 각 단계를 나타내는 **스팬(span)**들로 구성돼요. 스팬마다 입력·출력, 지연, 개인정보 보호 이슈, 오류 같은 정보가 담길 수 있어요. 정확한 개념 용어는 Terms and Concepts에서 확인할 수 있어요.
트러블슈팅과 비용 최적화
체인과 호출의 모든 단계를 트레이스로 보면 문제가 있는 요청을 골라내고 오류의 근본 원인을 찾기 쉬워져요. 모든 LLM 앱의 비용·지연·성능·사용 추이를 보고 싶다면 기본 제공 대시보드(out-of-the-box dashboards)도 활용할 수 있어요. LLM Operational Insights 대시보드가 그 역할을 해요.
품질 평가와 이상 징후
사용자가 앱에 무슨 질문을 하는지, 커버리지에 빈틈이 없는지, 응답 품질이 시간에 따라 어떻게 변하는지는 Patterns 기능으로 볼 수 있어요. 프로덕션 트래픽을 자동으로 계층적 주제(topic)로 클러스터링해 주거든요.
또한 Agent Observability Insights는 운영 지표(지연 시간, 오류율 등)와 OOTB 평가에서 이상 징후를 찾아 하이라이트해 줘요. 이상치 탐지는 스팬 이름, 워크플로우 타입, Patterns의 입력·출력 주제 같은 핵심 차원에서 지난 일주일 치를 분석해, 사용자가 고른 시간대에 자동으로 표면화돼요. 덕분에 회귀·성능 드리프트·예상 밖의 동작을 팀이 미리 잡아낼 수 있어요.
통합과 시작하기
Agent Observability는 Python·Node.js·Java SDK를 제공하고, OpenAI·LangChain·AWS Bedrock·Anthropic 같은 프레임워크와 통합돼요. 코드 변경 없이 LLM 호출을 자동으로 트레이스해 지연·오류·토큰 사용량 지표를 잡아줘요. 시작하려면 Setup 문서로 계측 방법을 보거나, Quickstart 가이드로 첫 트레이스를 만들어 보는 걸 추천해요.