LiteLLM Routing — 라우팅 규칙과 자동 폴백
LiteLLM Routing — 라우팅 규칙과 자동 폴백
LiteLLM은 100개가 넘는 LLM 공급자를 하나의 인터페이스로 묶는 라이브러리예요. 그 Routing 기능은 어떤 모델에 어느 트래픽을 보낼지 결정하고, 실패 시 이어서 처리할 폴백을 자동으로 돌려요.
라우팅이 해결하는 문제
한 모델로 모든 걸 처리하면 고난도 질문에 약하거나, 쉬운 질문에 비싼 모델을 써서 돈을 낭비해요. 라우팅은 요청의 성격에 맞는 모델로 보내요.
- Fallback(폴백): 요청이 실패하면 다음 모델로 자동 재시도해 가용성을 높여요.
- 조건부 라우팅: 예산, 모델, 공급자 상태 같은 조건에 따라 목적지를 정해요.
- 한 인터페이스: OpenAI·Anthropic·Gemini 등을 같은 코드로 호출해요.
언제 쓰면 좋을까요
여러 공급자를 함께 쓰거나, 장애에 강한 구성을 원하거나, 모델별 비용을 제어하고 싶을 때요. Router 클래스 하나로 라우팅·재시도·비용 추적을 관리할 수 있어요.