Claude Code 통합
Claude Code 통합 (Claude Code)
Claude Code는 Anthropic의 터미널 기반 코딩 에이전트예요. vLLM은 Anthropic Messages API를 구현하고 있어서, Claude Code가 원래 Anthropic 서버로 보내던 요청을 여러분이 직접 서빙하는 vLLM 서버로 돌리면, 완전히 로컬 환경에서 실행할 수 있어요. 이 페이지에서 설정 방법을 살펴볼게요.
동작 원리 (How It Works)
vLLM은 Claude Code가 Anthropic 서버와 통신하는 데 쓰는 것과 동일한 Anthropic Messages API를 구현해요. ANTHROPIC_BASE_URL을 vLLM 서버를 가리키도록 설정하면, Claude Code가 Anthropic 대신 vLLM으로 요청을 보내요. vLLM은 이 요청을 로컬 모델에 맞게 번역하고, Claude Code가 기대하는 형식으로 응답을 돌려줘요.
요구사항 (Requirements)
Claude Code는 강력한 도구 호출(tool calling) 능력이 있는 모델을 요구해요. 모델이 OpenAI 호환 도구 호출 API를 지원해야 해요. 모델의 도구 호출 활성화 방법은 Tool Calling 문서를 참고하세요.
vLLM 서버 시작 (Starting the vLLM Server)
도구 호출이 가능한 모델로 vLLM을 시작해요. openai/gpt-oss-120b를 쓰는 예시예요.
vllm serve openai/gpt-oss-120b --served-model-name my-model --enable-auto-tool-choice --tool-call-parser openai
다른 모델은 --enable-auto-tool-choice와 올바른 --tool-call-parser로 도구 호출을 명시적으로 활성화해야 해요. 모델에 맞는 플래그는 Tool Calling 문서를 참고하세요.
Claude Code 설정 (Configuring Claude Code)
vLLM 서버를 가리키는 환경 변수로 Claude Code를 실행해요.
ANTHROPIC_BASE_URL=http://localhost:8000 \
ANTHROPIC_API_KEY=dummy \
ANTHROPIC_AUTH_TOKEN=dummy \
ANTHROPIC_DEFAULT_OPUS_MODEL=my-model \
ANTHROPIC_DEFAULT_SONNET_MODEL=my-model \
ANTHROPIC_DEFAULT_HAIKU_MODEL=my-model \
claude
| 변수 | 설명 |
|---|---|
ANTHROPIC_BASE_URL |
vLLM 서버를 가리킴 (기본 포트는 8000) |
ANTHROPIC_API_KEY |
vLLM이 기본적으로 인증을 요구하지 않음으로 아무 값이나 가능 |
ANTHROPIC_DEFAULT_OPUS_MODEL |
Opus 등급 요청의 모델 이름 |
ANTHROPIC_DEFAULT_SONNET_MODEL |
Sonnet 등급 요청의 모델 이름 |
ANTHROPIC_DEFAULT_HAIKU_MODEL |
Haiku 등급 요청의 모델 이름 |