LiteLLM (LLM 게이트웨이/프록시)
LiteLLM (LLM 게이트웨이/프록시)
LiteLLM은 오픈소스 LLM 게이트웨이/프록시로, OpenAI·Anthropic·Gemini·Bedrock·Azure 등 100여 개 LLM 프로바이더를 하나의 통일된 인터페이스(OpenAI 형식)로 호출하게 해주는 도구예요. Python SDK와 AI Gateway(Proxy Server) 두 가지 방식으로 쓸 수 있고, 로드밸런싱·폴백·비용 추적·가상 키 인증·가드레일 등을 제공해 운영 환경에 바로 쓸 수 있게 설계됐어요.
이 카테고리의 문서
- 개념/개요: LiteLLM 개요, 지원 Provider, 프록시 요청 수명, Router, Production 배포, 예외 처리, 로드맵
- 프록시 운영: 가상 키, 예산/레이트리밋, 로깅, 시크릿 매니저, config.yaml, 퀵 스타트
- 가이드: 폴백·재시도, 로드 밸런싱, 마스터 키 회전, 지출 추적