사용자 설정

사용자 설정 (User Setup)

팀이 배포한 Auto Router에 코딩 에이전트를 연결해 보세요. 관리자에게 LiteLLM 게이트웨이 URL, 라우터에 접근 가능한 가상 API 키, 라우터의 모델 이름을 요청하세요. 먼저 라우터를 만들려면 Admin Setup 을 참고하세요.

계속하기 전에 Claude Code 또는 Codex를 설치하세요. Codex는 안정 버전 0.129.0 이상을 사용하세요.

출처: 문서

본문

1. LiteLLM CLI 설치

curl -fsSL https://raw.githubusercontent.com/BerriAI/litellm/main/scripts/install-cli.sh | sh

다른 설치 옵션은 LiteLLM Proxy CLI 문서를 참고하세요.

2. 코딩 에이전트 구성

게이트웨이 URL과 키를 관리자로부터 받은 값으로 바꾼 뒤 실행하세요:

export LITELLM_PROXY_API_KEY="«redacted:sk-…»"

lite configure \
  --gateway-url https://your-proxy.example.com \
  --api-key "$LITELLM_PROXY_API_KEY"

Claude Code, Codex, 또는 둘 다를 선택하고, 각 에이전트의 모델 선택기에서 팀의 Auto Router를 선택하세요. CLI는 에이전트 설정에 연결을 저장하기 전에 키와 사용 가능한 모델을 확인합니다. 이 설정에는 장기(live) 가상 키를 사용하세요. lite configure 는 lite login 의 임시 자격 증명을 사용하지 않아요.

명령에서 에이전트와 라우터를 직접 지정할 수도 있어요. smart-router를 라우터의 모델 이름으로 바꾸세요.

Claude Code

lite configure \
  --gateway-url https://your-proxy.example.com \
  claude \
  --api-key "$LITELLM_PROXY_API_KEY" \
  --model smart-router

claude

Codex

lite configure \
  --gateway-url https://your-proxy.example.com \
  codex \
  --api-key "$LITELLM_PROXY_API_KEY" \
  --model smart-router

codex

설정 후에는 어느 터미널에서든 claude 또는 codex로 에이전트를 시작하세요. 매번 lite configure 를 반복하거나 키를 export할 필요가 없어요.

라이브 세션 절감

Claude Code에서 lite configure 는 마지막 턴을 처리한 모델과 추정 기준선 대비 세션의 라우팅된 지출을 보여주는 상태 줄을 추가해요.

이 예시는 $14.00 추정 기준선 대비 $3.03의 라우팅된 지출, 즉 78% 절감을 보여줍니다. 기준선은 라우터의 가장 높은 구성 티어에서 가장 비싼 모델을 사용해요. 절감은 세션에 따라 달라지며, LiteLLM이 추정치를 계산하는 방법은 Reported savings 문서를 참고하세요.

통계는 게이트웨이가 사용량을 기록하는 동안 완료된 턴보다 늦을 수 있어요. 라우팅된 모델이 보이지만 절감이 안 보이면, 관리자에게 게이트웨이에 데이터베이스와 지출 로깅이 활성화되어 있는지, 키가 /auto_router/session에 접근할 수 있는지 확인해 달라고 하세요. llm_api_routes로 제한된 키도 이 엔드포인트에 접근해야 해요. 절감에는 사용 가능한 기준선 추정치가 필요합니다.

설정 되돌리기

연결을 끊을 에이전트에 대한 명령을 실행하세요:

lite unconfigure claude
# Or, for Codex:
lite unconfigure codex

CLI는 변경한 설정을 복원하고 이후에 만든 편집을 보존합니다.

사용자 설정