클라이언트 연결 개요

클라이언트 연결 개요 (Client Setup: Overview)

LiteLLM 게이트웨이에 클라이언트를 연결하는 방법을 알려드려요. LiteLLM 게이트웨이가 실행 중이면, 코딩 도구나 채팅 앱은 두 가지 방식 중 하나로 연결하고, 이 섹션의 각 페이지는 특정 클라이언트를 두 가지 모두로 안내해요.

출처: 문서

본문

LLM 라우팅은 클라이언트의 모델 트래픽을 LiteLLM으로 향하게 해요. 클라이언트는 평소 인터페이스를 유지하지만, 모든 요청이 게이트웨이를 통과해요. 그래서 100개 이상의 모델에 대한 하나의 API 표면과 지출 추적, 예산, 가드레일을 얻어요. 세 가지 값이 필요해요: 게이트웨이 base URL, 가상 키, 콘피그의 model_name.
MCP는 클라이언트를 LiteLLM의 MCP 게이트웨이에 연결해, 거기서 노출하는 도구를 호출할 수 있게 해요. 클라이언트는 MCP 엔드포인트에서 LiteLLM에 도달하고 가상 키로 인증해요. LiteLLM은 등록한 업스트림 MCP 서버로 팬아웃하고, 그 과정에서 액세스 제어, 비용 추적, 가드레일을 적용해요.

각 클라이언트가 지원하는 것 (What each client supports)

클라이언트	표면	LLM 라우팅	MCP
Claude Code	CLI	예	예
Claude Desktop	GUI	예	예
Codex (ChatGPT Desktop)	GUI	예	예
Codex (CLI)	CLI	예	예

어디서나 재사용할 값들 (The values you will reuse everywhere)

Admin UI의 Virtual Keys -> + Create New Key 또는 POST /key/generate로 가상 키를 생성하세요.

값	출처	예시
게이트웨이 base URL	프록시가 수신하는 곳	http://localhost:4000
가상 키	Admin UI: Virtual Keys -> + Create New Key, 또는 POST /key/generate	sk-1234
모델 이름	콘피그의 model_list 아래 model_name	claude-sonnet-5
MCP 엔드포인트	키가 볼 수 있는 모든 서버에 `<base URL>/mcp`, 또는 하나에 `<base URL>/<server_name>/mcp`	http://localhost:4000/my_mcp_server/mcp
MCP auth 헤더	가상 키를 bearer 토큰으로, `Authorization` 또는 `x-litellm-api-key`에	Authorization: Bearer ***

LiteLLM은 MCP 엔드포인트에서 Authorization: Bearer *** 또는 x-litellm-api-key: *** <key> 중 어느 쪽이든 가상 키를 받아요. bearer 토큰 설정을 구성할 때 가상 키를 사용하세요. 클라이언트는 이를 Authorization에 보내요. 커스텀 헤더를 구성할 때는 x-litellm-api-key를 선호하세요. 이는 Authorization을 업스트림 서버 자체의 OAuth 토큰용으로 남겨 둬요. 엔드포인트와 헤더 선택은 MCP configuration reference 참고.

키에 MCP 서버 액세스 부여 (Grant the key access to the MCP server)

가상 키는 부여된 MCP 서버만 볼 수 있어요. 부여 없이는 게이트웨이가 The key is not allowed to access the requested MCP servers: my_mcp_server라고 응답해요. POST /key/generate에서 키에 "object_permission": {"mcp_servers": ["my_mcp_server"]}로 액세스를 부여하거나, 팀에 부여하거나, allow_all_keys: true로 서버를 공개로 표시하세요. 자세한 내용은 MCP access control 참고.

아직 실행 중인 게이트웨이가 없다면 Deploy the Gateway -> Quickstart부터 시작하고, 돌아와서 클라이언트를 연결하세요.