AgentOps

AgentOps

AgentOps는 AI 에이전트를 위한 관측성·개발 도구 플랫폼이에요(agentops.ai). LiteLLM 스팬을 AgentOps로 보내는 방법을 알려드릴게요.

출처: 문서

본문

info — 콜백을 더 좋게 만들기 위해 LiteLLM 창업자와 이야기하거나 디스코드에 참여해 주세요.

사전 요구사항 (Pre-Requisites)

uv add litellm

빠른 시작 (Quick Start)

SDK:

import litellm
import os

os.environ["LITELLM_OTEL_V2"] = "true"
os.environ["AGENTOPS_API_KEY"] = ""
# LLM API Keys
os.environ["OPENAI_API_KEY"] = ""

# set agentops as a callback, litellm will send the data to agentops
litellm.callbacks = ["agentops"]

# openai call
response = litellm.completion(
  model="gpt-5.6-terra",
  messages=[
    {"role": "user", "content": "Hi 👋 - i'm openai"}
  ]
)

LiteLLM Proxy:

  1. config.yaml 설정
model_list:
  - model_name: gpt-5.6-terra
    litellm_params:
      model: openai/gpt-5.6-terra
      api_key: os.environ/OPENAI_API_KEY

litellm_settings:
  callbacks: ["agentops"]
  1. 자격 증명 설정
LITELLM_OTEL_V2=true
AGENTOPS_API_KEY="your-api-key"
  1. LiteLLM 프록시 시작
litellm --config /path/to/config.yaml
  1. 테스트해 보세요!
curl -L -X POST 'http://0.0.0.0:4000/v1/chat/completions' \
-H 'Content-Type: application/json' \
-H "Authorization: Bearer ***" \
-d '{
  "model": "gpt-5.6-terra",
  "messages": [
    {
      "role": "user",
      "content": "Hey, how are you?"
    }
  ]
}'

AgentOps가 렌더링하는 것 (What AgentOps renders)

AgentOps 대시보드를 열어 보세요. AgentOps는 벤더 매퍼를 추가하지 않으므로 스팬이 표준 gen_ai.* 스키마로 도착해요. 전체 키 목록은 Span attributes를 참고해 주세요.

프리셋은 트레이스에 세 가지 리소스 레벨 레이블을 설정해요. AGENTOPS_SERVICE_NAME의 service.name, 고정된 telemetry.sdk.name(agentops), AGENTOPS_ENVIRONMENT를 설정했을 때의 deployment.environment예요. AgentOps는 인증 토큰에 인코딩된 프로젝트로 트레이스를 라우팅하므로 프로젝트가 리소스 속성으로 나타나지 않아요.

구성 (Configuration)

변수 필수 참고
AGENTOPS_API_KEY 예 단기 JWT로 교환됨
AGENTOPS_SERVICE_NAME 아니오 기본값 agentops
AGENTOPS_ENVIRONMENT 아니오 기본값 없음. 설정했을 때만 deployment.environment가 찍힘

트레이스는 https://otlp.agentops.ai/v1/traces로 전송돼요.

알아두면 좋은 점 (Good to know)

AgentOps는 시작 시가 아니라 첫 스팬 내보내기에서 인증 토큰을 발급하므로 첫 내보내기가 잠깐 지연된 것처럼 보일 수 있어요. 프로세스당 한 번 발생하며 정상이에요. 이후 토큰은 프로세스 수명 동안 캐시돼요.

AgentOps UI에서 환경을 분리하고 싶다면 AGENTOPS_SERVICE_NAME과 AGENTOPS_ENVIRONMENT를 설정하세요.

전체 OpenTelemetry 참조 (Full OpenTelemetry reference)

이 페이지는 AgentOps 전용 설정을 다뤄요. 스팬 속성, 프롬프트·응답 캡처, 메트릭, 분산 추적, 추적되는 라우트에 대한 자세한 내용은 OpenTelemetry v2 가이드를 참고해 주세요.

지원 및 창업자와 소통 (Support & Talk to Founders)

더 알아보기 (Learn more)