Levo

Levo

Levo는 levo.ai에서 제공하는 API·LLM 보안 테스트 및 관측성 도구예요. LiteLLM 콜백으로 스팬(span)을 Levo 컬렉터로 보내는 방법을 알려드릴게요.

출처: 문서

본문

info — 콜백을 더 좋게 만들기 위해 LiteLLM 창업자와 이야기하거나 디스코드에 참여해 주세요.

사전 요구사항 (Pre-Requisites)

uv add litellm

API 키 외에도 Levo 컬렉터 URL이 필요해요. 없다면 Levo 지원팀에 문의해 주세요.

빠른 시작 (Quick Start)

SDK:

import litellm
import os

os.environ["LITELLM_OTEL_V2"] = "true"
os.environ["LEVOAI_API_KEY"] = ""
os.environ["LEVOAI_ORG_ID"] = ""
os.environ["LEVOAI_WORKSPACE_ID"] = ""
os.environ["LEVOAI_COLLECTOR_URL"] = ""
# LLM API Keys
os.environ["OPENAI_API_KEY"] = ""

# set levo as a callback, litellm will send the data to levo
litellm.callbacks = ["levo"]

# openai call
response = litellm.completion(
  model="gpt-5.6-terra",
  messages=[
    {"role": "user", "content": "Hi 👋 - i'm openai"}
  ]
)

LiteLLM Proxy:

  1. config.yaml 설정
model_list:
  - model_name: gpt-5.6-terra
    litellm_params:
      model: openai/gpt-5.6-terra
      api_key: os.environ/OPENAI_API_KEY

litellm_settings:
  callbacks: ["levo"]
  1. 자격 증명 설정
LITELLM_OTEL_V2=true
LEVOAI_API_KEY="your-api-key"
LEVOAI_ORG_ID="your-org-id"
LEVOAI_WORKSPACE_ID="your-workspace-id"
LEVOAI_COLLECTOR_URL="your-levo-collector-url"   # contact Levo support for this
  1. LiteLLM 프록시 시작
litellm --config /path/to/config.yaml
  1. 테스트해 보세요!
curl -L -X POST 'http://0.0.0.0:4000/v1/chat/completions' \
-H 'Content-Type: application/json' \
-H "Authorization: Bearer ***" \
-d '{
  "model": "gpt-5.6-terra",
  "messages": [
    {
      "role": "user",
      "content": "Hey, how are you?"
    }
  ]
}'

Levo가 렌더링하는 것 (What Levo renders)

Levo 대시보드를 열어 보세요. Levo는 벤더 매퍼를 추가하지 않으므로 스팬이 표준 gen_ai.* 스키마로 도착해요. 전체 키 목록은 Span attributes를 참고해 주세요.

프리셋은 Authorization: Bearer ***와 LEVOAI_ORG_ID, LEVOAI_WORKSPACE_ID로 만든 x-levo-organization-id, x-levo-workspace-id 헤더와 함께 스팬을 LEVOAI_COLLECTOR_URL로 라우팅해요.

구성 (Configuration)

변수 필수 참고
LEVOAI_API_KEY 예
LEVOAI_ORG_ID 예
LEVOAI_WORKSPACE_ID 예
LEVOAI_COLLECTOR_URL 예 경로 조작 없이 그대로 사용하므로 Levo가 준 정확한 URL을 제공하세요

네 개 모두 시작 시 검증되며, 하나라도 없으면 통합이 예외를 발생시켜요. 스팬에 환경을 표시하려면 OTEL_ENVIRONMENT_NAME을 설정하세요. 그러면 모든 스팬에 deployment.environment가 찍혀요.

전체 OpenTelemetry 참조 (Full OpenTelemetry reference)

이 페이지는 Levo 전용 설정을 다뤄요. 스팬 속성, 프롬프트·응답 캡처, 메트릭, 분산 추적, 추적되는 라우트에 대한 자세한 내용은 OpenTelemetry v2 가이드를 참고해 주세요.

지원 및 창업자와 소통 (Support & Talk to Founders)

더 알아보기 (Learn more)