MCP 사용하기

MCP 사용하기 (Using your MCP)

LiteLLM을 MCP 게이트웨이로 사용하는 방법을 알려드릴게요. Responses API, Cursor IDE, OpenAI SDK와 함께 사용하는 방법을 확인할 수 있어요. 엔드포인트, 전송 방식, 인증 패턴 선택은 MCP Configuration Reference를 참고해 주세요.

출처: 문서

본문

LiteLLM UI에서 사용 (Use on LiteLLM UI)

이 워크스루를 따라 LiteLLM UI에서 MCP를 사용할 수 있어요.

Responses API와 함께 사용 (Use with Responses API)

http://localhost:4000을 LiteLLM Proxy 기본 URL로 바꿔 주세요.

Responses API 데모 비디오: 데모 비디오

cURL:

curl --location 'http://localhost:4000/v1/responses' \
--header 'Content-Type: application/json' \
--header "Authorization: Bearer ***" \
--data '{
    "model": "gpt-5.6-terra",
    "input": [
    {
      "role": "user",
      "content": "give me TLDR of what BerriAI/litellm repo is about",
      "type": "message"
    }
  ],
    "tools": [
        {
            "type": "mcp",
            "server_label": "litellm",
            "server_url": "litellm_proxy",
            "require_approval": "never"
        }
    ],
    "stream": true,
    "tool_choice": "required"
}'

Python SDK:

"""
Use LiteLLM Proxy MCP Gateway to call MCP tools.

When using LiteLLM Proxy, you can use the same MCP tools across all your LLM providers.
"""
import openai

client = openai.OpenAI(
    api_key="sk-<your-litellm-api-key>", # paste your litellm proxy api key here
    base_url="http://localhost:4000" # paste your litellm proxy base url here
)
print("Making API request to Responses API with MCP tools")

response = client.responses.create(
    model="gpt-5.6-terra",
    input=[
        {
            "role": "user",
            "content": "give me TLDR of what BerriAI/litellm repo is about",
            "type": "message"
        }
    ],
    tools=[
        {
            "type": "mcp",
            "server_label": "litellm",
            "server_url": "litellm_proxy",
            "require_approval": "never"
        }
    ],
    stream=True,
    tool_choice="required"
)

for chunk in response:
    print("response chunk: ", chunk)

MCP 도구 지정 (Specifying MCP Tools)

allowed_tools 파라미터를 사용해 어떤 MCP 도구를 사용할 수 있는지 지정할 수 있어요. 이를 통해 MCP 서버 내 특정 도구로 접근을 제한할 수 있죠.

LiteLLM MCP Gateway 사용 시 허용 도구 목록을 얻으려면 LiteLLM UI의 MCP Servers > MCP Tools > 도구 클릭 > Copy Tool Name으로 이동할 수 있어요.

cURL:

curl --location 'http://localhost:4000/v1/responses' \
--header 'Content-Type: application/json' \
--header "Authorization: Bearer ***" \
--data '{
    "model": "gpt-5.6-terra",
    "input": [
    {
      "role": "user",
      "content": "give me TLDR of what BerriAI/litellm repo is about",
      "type": "message"
    }
  ],
    "tools": [
        {
            "type": "mcp",
            "server_label": "litellm",
            "server_url": "litellm_proxy",
            "require_approval": "never",
            "allowed_tools": ["GitMCP-fetch_litellm_documentation"]
        }
    ],
    "stream": true,
    "tool_choice": "required"
}'

Python SDK:

import openai

client = openai.OpenAI(
    api_key="sk-<your-litellm-api-key>",
    base_url="http://localhost:4000"
)

response = client.responses.create(
    model="gpt-5.6-terra",
    input=[
        {
            "role": "user",
            "content": "give me TLDR of what BerriAI/litellm repo is about",
            "type": "message"
        }
    ],
    tools=[
        {
            "type": "mcp",
            "server_label": "litellm",
            "server_url": "litellm_proxy",
            "require_approval": "never",
            "allowed_tools": ["GitMCP-fetch_litellm_documentation"]
        }
    ],
    stream=True,
    tool_choice="required"
)

print(response)

Cursor IDE와 함께 사용 (Use with Cursor IDE)

LiteLLM MCP로 Cursor IDE에서 직접 도구를 사용해 주세요:

설정 지침 (Setup Instructions):

  1. Cursor Settings 열기: ⇧+⌘+J(Mac) 또는 Ctrl+Shift+J(Windows/Linux)
  2. MCP Tools로 이동: "MCP Tools" 탭으로 가서 "New MCP Server" 클릭
  3. 구성 추가: 아래 JSON 구성을 복사·붙여넣고 Cmd+S 또는 Ctrl+S로 저장

기본 Cursor MCP 구성:

{
  "mcpServers": {
    "LiteLLM": {
      "url": "http://localhost:4000/mcp",
      "headers": {
        "x-litellm-api-key": "Bearer sk-<your-litellm-api-key>"
      }
    }
  }
}

server_url="litellm_proxy"일 때 동작 방식 (How it works when server_url="litellm_proxy")

server_url="litellm_proxy"이면 LiteLLM이 비-MCP 프로바이더를 MCP 도구에 연결(bridge)해요.

  • 도구 디스커버리: LiteLLM이 MCP 도구를 가져와 OpenAI 호환 정의로 변환
  • LLM 호출: 도구가 입력과 함께 LLM에 전송되고, LLM이 어떤 도구를 호출할지 선택
  • 도구 실행: LiteLLM이 인자를 자동 파싱하고 MCP 서버로 호출을 라우팅하며 도구를 실행하고 결과를 검색
  • 응답 통합: 도구 결과가 최종 응답 생성을 위해 LLM으로 다시 전송
  • 출력: LLM 추론과 도구 실행 결과를 결합한 완전한 응답

이를 통해 네이티브 MCP 지원 여부와 관계없이 LiteLLM이 지원하는 어떤 프로바이더에서도 MCP 도구를 사용할 수 있어요.

응답에서 도구 호출이 누락되거나 실패하면 Responses and Chat Completions failures 문제 해결 런북을 참고해 주세요.

require_approval: "never"에 대한 자동 실행 (Auto-execution for require_approval: "never")

require_approval: "never"로 설정하면 도구가 자동 실행되어 추가 사용자 상호작용 없이 단일 API 호출로 최종 응답이 반환돼요.

더 알아보기 (Learn more)