LiteLLM 프록시
LiteLLM 프록시 (Simple Proxy)
LiteLLM AI Gateway(프록시) 문서의 인덱스/랜딩 페이지예요. 프록시 관련 각 주제 문서(클라이언트 설정, 배포, CLI, 문제 해결, Admin UI, 보안, 예산, 가드레일, 로깅 등)로 가는 링크를 모아둔 페이지입니다.
출처: 문서
본문
이 페이지는 LiteLLM 프록시 문서 트리의 분류 목록이에요:
- 🗃️ Client Setup - 5개 항목
- 🗃️ Deploy the Gateway - 17개 항목
- 🗃️ Agent & MCP Gateway - 4개 항목
- 🗃️ Config.yaml - 3개 항목
- 🗃️ CLI - 2개 항목
- 🗃️ Troubleshooting - 3개 항목
- 🗃️ Admin UI - 6개 항목
- 🗃️ Architecture - 5개 항목
- 🔗 All Endpoints (Swagger)
- 🗃️ Authentication - 12개 항목
- 🗃️ Budgets + Rate Limits - 13개 항목
- 🗃️ Caching - 8개 항목
- 📄️ Memory Management - 사용자 환경설정과 피드백을 저장해 LLM이 세션 간 기억하게 하는 기능. 사용자와 팀 범위로 한정되며 접근 제어가 내장되어 있어요.
- 🗃️ Guardrails - 9개 항목
- 🗃️ Policies - 4개 항목
- 🗃️ Create Custom Plugins - 요청, 응답 등을 수정해요.
- 📄️ LiteLLM Proxy CLI - LiteLLM 프록시를 관리하는 명령줄 도구예요.
- 🔗 Load Balancing, Routing, Fallbacks (Failover)
- 📄️ A/B Testing - Traffic Mirroring - 트래픽 미러링은 평가 목적으로 프로덕션 트래픽을 보조(무음) 모델에 "복제"하는 기능이에요. 무음 모델의 응답은 백그라운드에서 수집되며 기본 요청의 지연 시간이나 결과에 영향을 주지 않아요.
- 🗃️ Logging, Alerting, Metrics - 5개 항목
- 🗃️ Making LLM Requests - 6개 항목
- 🗃️ Model Access - 6개 항목
- 🗃️ Secret Managers - 10개 항목
- 🗃️ Spend Tracking - 13개 항목
- 🗃️ Cost Optimization - 6개 항목