라우팅 플러그인
라우팅 플러그인 (Routing Plugins)
LiteLLM에서 커스텀 라우팅 플러그인을 작성해 기본 라우팅 전략을 확장하는 방법을 안내해요.
출처: 문서
본문
LiteLLM의 Router는 기본 제공 라우팅 전략(예: simple-shuffle, latency-based, usage-based 등) 외에 커스텀 플러그인을 통해 자체 라우팅 로직을 구현할 수 있게 해줘요.
핵심 내용
- 라우팅 전략은
router_settings.routing_strategy로 선택해요. - 커스텀 플러그인은 정해진 인터페이스를 구현해 배포 선택 로직을 직접 제어해요.
- 사용자 정의 지표(비용, 지연, 사용량 등)를 기반으로 배포를 선택할 수 있어요.
- 플러그인 등록 후
routing_strategy에 플러그인 이름을 지정해 사용해요.
사용 예
조직 고유의 우선순위(예: 특정 리전 우선, 커스텀 헬스 점수)로 배포를 고르는 플러그인을 구현해 프록시/라우터에 적용할 수 있어요.
이 페이지는 라우팅 플러그인 개발의 시작점이에요. 구체적인 인터페이스/등록 방법은 LiteLLM 라우팅 문서와 소스 코드를 참고하세요.