Datadog 통합

Datadog 통합 (Datadog Integration)

이 가이드는 Datadog auto-instrumentation을 사용해 Datadog LLM Observability를 CrewAI와 통합하는 방법을 보여줘요. 이 가이드를 끝내면 LLM Observability 트레이스를 Datadog에 제출하고, CrewAI 에이전트 실행을 Datadog LLM Observability의 Agentic Execution View에서 볼 수 있어요.

출처: 문서

본문

What is Datadog LLM Observability? (Datadog LLM Observability란?)

Datadog LLM Observability는 AI 엔지니어, 데이터 과학자, 애플리케이션 개발자가 LLM 애플리케이션을 빠르게 개발·평가·모니터링할 수 있게 도와줘요. 구조화된 실험, AI 에이전트 전반의 종단 간 트레이싱, 평가를 통해 출력 품질, 성능, 비용, 전반적인 리스크를 자신 있게 개선할 수 있어요.

Getting Started (시작하기)

Install Dependencies

pip install ddtrace crewai crewai-tools

Set Environment Variables

Datadog API key가 없다면 계정을 만들고 API key를 받을 수 있어요. 또한 다음 환경 변수에 ML Application 이름을 지정해야 해요. ML Application은 특정 LLM 기반 애플리케이션과 연관된 LLM Observability 트레이스의 그룹이에요. ML Application 이름의 제한 사항에 대한 자세한 내용은 ML Application Naming Guidelines를 참조하세요.

export DD_API_KEY=<YOUR_DD_API_KEY>
export DD_SITE=<YOUR_DD_SITE>
export DD_LLMOBS_ENABLED=true
export DD_LLMOBS_ML_APP=<YOUR_ML_APP_NAME>
export DD_LLMOBS_AGENTLESS_ENABLED=true
export DD_APM_TRACING_ENABLED=false

추가로 LLM 프로바이더 API 키를 구성하세요:

export OPENAI_API_KEY=<YOUR_OPENAI_API_KEY>
export ANTHROPIC_API_KEY=<YOUR_ANTHROPIC_API_KEY>
export GEMINI_API_KEY=<YOUR_GEMINI_API_KEY>
...

Create a CrewAI Agent Application

# crewai_agent.py
from crewai import Agent, Task, Crew

from crewai_tools import (
    WebsiteSearchTool
)

web_rag_tool = WebsiteSearchTool()

writer = Agent(
    role="Writer",
    goal="You make math engaging and understandable for young children through poetry",
    backstory="You're an expert in writing haikus but you know nothing of math.",
    tools=[web_rag_tool],
)

task = Task(
    description=("What is {multiplication}?"),
    expected_output=("Compose a haiku that includes the answer."),
    agent=writer
)

crew = Crew(
    agents=[writer],
    tasks=[task],
    share_crew=False
)

output = crew.kickoff(dict(multiplication="2 * 2"))

Run the Application with Datadog Auto-Instrumentation

환경 변수를 설정했다면 이제 Datadog auto-instrumentation으로 애플리케이션을 실행할 수 있어요:

ddtrace-run python crewai_agent.py

View the Traces in Datadog

애플리케이션을 실행한 후 Datadog LLM Observability의 Traces View에서, 좌측 상단 드롭다운에서 선택한 ML Application 이름으로 트레이스를 볼 수 있어요. 트레이스를 클릭하면 총 토큰 수, LLM 호출 횟수, 사용된 모델, 예상 비용을 포함한 트레이스 세부 정보가 표시돼요. 특정 span을 클릭하면 이러한 세부 정보가 좁혀지고 관련 입력, 출력, 메타데이터가 표시돼요.

또한 트레이스의 실행 그래프 뷰를 볼 수 있어요. 이 뷰는 트레이스의 제어와 데이터 흐름을 보여주며, 더 큰 에이전트에서는 LLM 호출, 툴 호출, 에이전트 상호작용 간의 핸드오프와 관계를 보여주도록 확장돼요.

References (참조)

  • Datadog LLM Observability
  • Datadog LLM Observability CrewAI Auto-Instrumentation

더 알아보기 (Learn more)