lite autoroute

lite autoroute (CLI)

lite autoroute는 LiteLLM 프록시 CLI인 lite의 서브커맨드예요. lite login, lite up, lite claude 그리고 모델·키·팀 관리 명령과 함께 제공돼요. 실제 실행 중인 프록시에서 키가 이미 접근할 수 있는 모델을 대상으로 복잡도 기반 자동 라우팅(complexity-based auto-routing)을 로컬에서 시험해 볼 수 있어요.

출처: 문서

본문

lite autoroute는 lite(LiteLLM 프록시 CLI)의 서브커맨드로, lite login, lite up, lite claude, 그리고 모델·키·팀 관리 명령도 제공해요. 이 명령으로 프롬프트가 얼마나 복잡한지에 따라 더 저렴하거나 더 비싼 모델을 골라주는 LiteLLM의 복잡도 기반 자동 라우팅을, 실제 실행 중인 프록시에서 키가 이미 접근할 수 있는 모델을 대상으로 로컬에서 시험해 볼 수 있어요. 프록시의 config.yaml을 수정하지도 않고, 어떤 요청도 우회하지 않아요. 실제 프록시로 모든 요청을 전달하는 임시 로컬 프록시를 띄운 다음, 세션 동안 Claude Code가 그 로컬 프록시를 가리키게 해요.

Preview 기능이에요. 여러분의 피드백이 필요해요. lite autoroute는 초기 단계이고 계속 진화해요. 무슨 일이 잘 되고, 무엇이 고장 나고, 무엇이 추가됐으면 좋겠는지 GitHub의 Autorouter 토론에 알려주세요. 피드백이 기능의 방향을 직접 만듭니다.

프록시 설정과 전체 구성 참조는 Auto Routing을 참고하세요.

1. CLI 설치

lite autoroute start는 머신에서 임시 프록시를 실행하므로 전체 프록시 런타임이 필요해요. CLI 퀵스타트의 얇은 install-cli.sh 원라이너는 litellm[cli]만 설치하므로 여기엔 부족하고, 아래 명령이 그 설치를 대체해요. main에서 litellm[proxy]를 단일 curl 명령으로 설치하며, uv가 없으면 자동으로 부트스트래핑돼요.

curl -fsSL https://raw.githubusercontent.com/BerriAI/litellm/main/scripts/install.sh | \
  LITELLM_CLI_REF=main sh

2. CLI를 프록시에 연결

실제 프록시 URL과 키를 설정하세요. autorouter가 이 키로 모든 요청을 이 프록시에 전달해요.

export LITELLM_PROXY_URL=http://localhost:4000
export LITELLM_PROXY_API_KEY=sk-...

3. Autorouter 설정

인터랙티브 위저드를 실행해요. 키가 접근할 수 있는 모델 그룹을 발견하고, 각 복잡도 티어에 모델을 할당하도록 요청해요.

lite autoroute configure

4. Autorouter 시작

일시적인 로컬 프록시를 시작해요. 포그라운드로 실행되며 프록시의 요청 로그를 출력해요. Ctrl-C로 멈추면 Claude Code 설정이 복원되고, 다른 방식으로 프로세스가 죽었다면 lite autoroute stop이 그 정리를 해줘요.

lite autoroute start

5. 평소처럼 Claude Code 실행

다른 탭에서 Claude Code를 시작하세요. autorouter가 모든 Claude Code 트래픽을 자동으로 가로채고, Claude Code 상태 줄에 각 답변 후 Routed to: <model>이 표시돼요.

claude

비정상 종료에서의 복구와 중요한 주의사항을 포함한 전체 참조는 CLI README의 lite autoroute 섹션을 보세요.