LLM Routing — 질문에 맞는 모델·공급자로 보낸다
LLM Routing
모든 요청을 하나의 모델에 보내는 건 비용 낭비예요. LLM routing 은 질문의 난이도·종류에 따라 적절한 모델이나 공급자로 트래픽을 보내 비용과 응답 시간을 최적화하는 기법이에요. LiteLLM이 실용적 구현, RouteLLM이 학습 기반 라우터예요.
이 카테고리의 문서
- 개요: LiteLLM Routing — 규칙 기반 라우팅과 폴백
- 핵심 기능: LiteLLM Load Balancing — 트래픽 분산
- 실전·API: RouteLLM — 강화학습으로 배운 라우터