통합
통합 (Integrations)
LiteLLM(Proxy나 SDK)과 함께 쓸 수 있는 다양한 도구·서비스 통합을 정리한 페이지예요.
출처: 문서
본문
이 섹션은 LiteLLM(Proxy 또는 SDK)과 함께 사용할 수 있는 다양한 도구와 서비스 통합을 다뤄요.
Observability (관측성)
LLM 호출을 추적·디버그·분석하는 옵저버빌리티 플랫폼을 연결해요.
- 🪢 Langfuse — LLM 옵저버빌리티 및 분석
- 🐶 Datadog — 메트릭, 트레이스, 대시보드
- Grafana Cloud — LLM 트레이스, GenAI 메트릭, 대시보드
- 📡 OpenTelemetry — 벤더 중립적 트레이싱
- 🔗 LangSmith — LLM 디버깅 및 평가
- 🔥 Arize / Phoenix — ML 옵저버빌리티 및 평가
- 🌀 Helicone — LLM 요청 로깅 및 분석
- 📊 MLflow — 실험 추적
- 🏋️ Weights & Biases — ML 실험 추적
- 📉 PostHog — 제품 분석
Alerting & Monitoring (알림 & 모니터링)
알림, 메트릭 수집, 인프라 모니터링을 설정해요.
- 📈 Prometheus — 메트릭 수집 및 모니터링
- 🚨 PagerDuty — 인시던트 대응 및 알림
- 🔔 Alerting — Slack, Teams, 웹훅 알림
- 🔍 Pyroscope — 연속 프로파일링
Guardrail Providers (가드레일 프로바이더)
LLM 호출에 안전성과 콘텐츠 필터링을 추가해요.
- 🛡️ Lakera AI — 프롬프트 인젝션 감지
- ☁️ Azure Content Safety — 콘텐츠 모더레이션
- 🛏️ Bedrock Guardrails — AWS Bedrock 안전성
- 🤖 OpenAI Moderation — OpenAI 콘텐츠 정책
- 🔐 Secret Detection — 자격 증명 유출 방지
- 🕵️ PII Masking — 민감 데이터 마스킹
Policies (정책)
LLM 배포 전반에 걸친 사용 정책을 정의·강제해요.
- 📋 Guardrail Policies — 정책 기반 가드레일 규칙
- 🔀 Policy Flow Builder — 시각적 정책 구성
- 📄 Policy Templates — 사전 구축 정책 템플릿
AI Tools (AI 도구)
LiteLLM을 AI 코딩·생산성 도구에 연결해요.
- 💬 OpenWebUI — 셀프호스팅 ChatGPT 스타일 인터페이스
- 🤖 Claude Code — LiteLLM을 Claude Code와 함께 사용
- 🖱️ Cursor — AI 코드 에디터 통합
- 🐙 GitHub Copilot — GitHub Copilot 통합
- 💻 OpenCode — 오픈소스 코딩 어시스턴트
- 🔧 Retool Assist — Retool AI 어시스턴트
Agent SDKs (에이전트 SDK)
에이전트 프레임워크·SDK와 함께 LiteLLM 사용하기.
- 🤖 OpenAI Agents SDK — OpenAI SDK로 에이전트 구축
- 🧠 Claude Agent SDK — Anthropic SDK로 에이전트 구축
- 🌐 Google ADK — Google Agent Development Kit
- 🚀 CopilotKit — 인앱 AI 코파일럿
- 🧬 Letta — 지속 메모리 기반 상태 유지형(stateful) LLM 에이전트 구축
- 🎙️ LiveKit — 실시간 음성·비디오 AI 에이전트
Prompt Management (프롬프트 관리)
프롬프트를 관리·버전 관리·배포해요.
- 📝 LiteLLM Prompt Management — 내장 프롬프트 관리
- 🔌 Custom Prompt Management — 자체 프롬프트 스토어 활용
- 🔥 Arize Phoenix Prompts — Phoenix로 프롬프트 관리
Manage with AI Agents (AI 에이전트로 관리)
AI 에이전트로 LiteLLM 배포를 관리해요 — 자연어로 사용자, 팀, 키, 모델 등을 생성할 수 있어요.
- 🤖 LiteLLM Skills — Claude Code로 LiteLLM 관리: 자연어 명령으로 키·팀·모델 등을 생성