패스스루 엔드포인트
패스스루 엔드포인트 (Pass-Through Endpoints) 소개
LiteLLM의 패스스루 엔드포인트 기능을 소개할게요. 이 기능은 프로바이더 고유의 엔드포인트를 그대로(변환 없이) 호출할 수 있게 해 줘요. 그래서 기존에 프로바이더 SDK를 쓰고 있던 프로젝트도 베이스 URL만 바꾸면 쉽게 LiteLLM 프록시로 옮겨올 수 있어요.
출처: 문서
본문
왜 패스스루 엔드포인트가 필요한가요? (Why Pass-Through Endpoints?)
이 엔드포인트는 두 가지 시나리오에서 특히 유용해요.
- 기존 프로젝트를 LiteLLM 프록시로 마이그레이션 — 예를 들어 이미 Anthropic SDK로 프로덕션에서 사용 중인 사용자가 있다면, base URL만 바꾸면 비용 추적·로깅·예산 등을 바로 얻을 수 있어요.
- 프로바이더 고유 엔드포인트 사용 — 예를 들어 Vertex AI의 토큰 계산 엔드포인트처럼 LiteLLM이 기본 지원하지 않는 프로바이더 전용 기능을 쓰고 싶을 때요.
요청은 어떻게 처리되나요? (How is your request handled?)
요청은 프로바이더의 엔드포인트로 그대로 전달되고, 응답은 그대로 클라이언트로 돌아와요. 어떤 변환도 하지 않아요.
요청 전달 과정 (Request Forwarding Process)
- 요청 수신 (Request Reception): LiteLLM이
/provider/endpoint에서 요청을 받아요. - 인증 (Authentication): 사용자의 LiteLLM API 키를 검증하고, 해당 프로바이더의 API 키에 매핑해요.
- 요청 변환 (Request Transformation): 요청을 대상 프로바이더 API 형식에 맞게 재구성해요.
- 전달 (Forwarding): 요청을 실제 프로바이더 엔드포인트로 보내요.
- 응답 처리 (Response Handling): 프로바이더 응답을 그대로 사용자에게 돌려줘요.
인증 흐름 (Authentication Flow)
핵심 포인트는 다음과 같아요.
- 요청에는 프로바이더 키가 아니라 LiteLLM API 키를 사용해요.
- LiteLLM이 프로바이더 인증을 내부적으로 처리해요.
- 모든 패스스루 엔드포인트에서 동일한 인증 방식이 동작해요.
오류 처리 (Error Handling)
프로바이더 오류: 원래 오류 코드와 메시지 그대로 클라이언트에 전달돼요.
LiteLLM 오류:
401: 유효하지 않은 LiteLLM API 키404: 지원되지 않는 프로바이더 또는 엔드포인트500: 내부 라우팅/전달 오류
장점 (Benefits)
- 통합 인증 (Unified Authentication): 모든 프로바이더에 대해 API 키 하나로 충분해요.
- 중앙 집중 로깅 (Centralized Logging): 모든 요청이 LiteLLM을 통해 로그에 기록돼요.
- 비용 추적 (Cost Tracking): 프로바이더 페이지의 개요 테이블이 가격을 지원하면 비용이 추적돼요. LiteLLM이 가격을 매길 수 없는 커스텀 패스스루 대상은 자체 합계를 보고할 수 있어요. 자세한 내용은 패스스루 비용·사용량 추적을 참고해 주세요. 그 외에는 비용 없이 로그만 남아요.
- 접근 제어 (Access Control): 패스스루 엔드포인트에도 동일한 권한 설정이 적용돼요.