CPU - Intel® Xeon® 지원 하드웨어

CPU - Intel® Xeon® 지원 하드웨어

이 문서는 Intel 시스템에서 vLLM을 CPU로 실행할 때 현재 검증된 CPU 참조 검증 매트릭스(reference validation matrix)를 보여줘요. 지원되는 모델과 검증된 하드웨어, 그리고 vLLM Recipe 기반 배포 방법을 안내해요.

출처: 문서

본문

AMD Zen CPU 참고: AMD Zen 4/Zen 5 CPU에서는 zentorch 패키지가 설치되어 있으면 AMD Zen 최적화가 자동으로 활성화돼요. vLLM이 CPU에서 지원하는 모든 모델이 AMD Zen에서도 지원되며 모델 호환성은 변하지 않아요. 이 페이지는 Intel 시스템의 현재 CPU 참조 검증 매트릭스를 반영해요. 자세한 내용은 AMD Zen 최적화 문서를 참고하세요.

검증된 하드웨어

  • Intel® Xeon® 6 Processors
  • Intel® Xeon® 5 Processors

vLLM Recipe로 배포하기

아래 Recipe 열은 사용 가능할 때 검증된 Xeon 6 구성을 링크해요. Recipe 변환 도구로 config.yaml과 env.sh를 생성할 수 있어요. vLLM을 시작하기 전에 생성된 환경을 로드하세요:

source env.sh
vllm serve --config config.yaml

권장 모델

텍스트 전용 언어 모델

Model Architecture Supported Recipe
openai/gpt-oss-20b GptOssForCausalLM ✅ Xeon 6
meta-llama/Llama-3.1-8B LlamaForCausalLM ✅ Xeon 6
meta-llama/Llama-3.1-8B-Instruct LlamaForCausalLM ✅ Xeon 6
meta-llama/Llama-3.2-1B LlamaForCausalLM ✅ Xeon 6
meta-llama/Llama-3.2-1B-Instruct LlamaForCausalLM ✅ Xeon 6
meta-llama/Llama-3.2-3B-Instruct LlamaForCausalLM ✅ Xeon 6
meta-llama/Llama-3.3-70B-Instruct LlamaForCausalLM ✅ Xeon 6
RedHatAI/Meta-Llama-3.1-8B-quantized.w8a8 LlamaForCausalLM ✅ Xeon 6
RedHatAI/Meta-Llama-3.1-8B-Instruct-quantized.w8a8 LlamaForCausalLM ✅ Xeon 6
RedHatAI/Llama-3.2-1B-Instruct-quantized.w8a8 LlamaForCausalLM ✅ Xeon 6
RedHatAI/Llama-3.2-3B-Instruct-quantized.w8a8 LlamaForCausalLM ✅ Xeon 6
RedHatAI/DeepSeek-R1-Distill-Llama-70B-quantized.w8a8 LlamaForCausalLM ✅ —
hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4 LlamaForCausalLM ✅ Xeon 6
AMead10/Llama-3.2-1B-Instruct-AWQ LlamaForCausalLM ✅ Xeon 6
AMead10/Llama-3.2-3B-Instruct-AWQ LlamaForCausalLM ✅ Xeon 6
TheBloke/TinyLlama-1.1B-Chat-v1.0-AWQ LlamaForCausalLM ✅ —
TheBloke/TinyLlama-1.1B-Chat-v1.0-GPTQ LlamaForCausalLM ✅ —
ibm-granite/granite-3.2-2b-instruct GraniteForCausalLM ✅ Xeon 6
Qwen/Qwen3-1.7B Qwen3ForCausalLM ✅ Xeon 6
Qwen/Qwen3-4B Qwen3ForCausalLM ✅ Xeon 6
Qwen/Qwen3-8B Qwen3ForCausalLM ✅ Xeon 6
Qwen/Qwen3-14B Qwen3ForCausalLM ✅ Xeon 6
Qwen/Qwen3-14B-FP8 Qwen3ForCausalLM ✅ Xeon 6
Qwen/Qwen3-14B-AWQ Qwen3ForCausalLM ✅ Xeon 6
Qwen/Qwen3-30B-A3B Qwen3MoeForCausalLM ✅ Xeon 6
Qwen/Qwen3-30B-A3B-Instruct-2507-FP8 Qwen3MoeForCausalLM ✅ —
Qwen/QwQ-32B Qwen2ForCausalLM ✅ Xeon 6
Qwen/QwQ-32B-AWQ Qwen2ForCausalLM ✅ Xeon 6
Qwen/Qwen1.5-0.5B-Chat-GPTQ-Int4 Qwen2ForCausalLM ✅ —
RedHatAI/QwQ-32B-quantized.w8a8 Qwen2ForCausalLM ✅ Xeon 6
zai-org/glm-4-9b-hf GLMForCausalLM ✅ Xeon 6
google/gemma-7b GemmaForCausalLM ✅ —
microsoft/Phi-4-reasoning Phi3ForCausalLM ✅ Xeon 6
mistralai/Mistral-7B-Instruct-v0.2 MistralForCausalLM ✅ —
TheBloke/Mistral-7B-Instruct-v0.2-AWQ MistralForCausalLM ✅ —

멀티모달 언어 모델

Model Architecture Supported Recipe
meta-llama/Llama-4-Scout-17B-16E-Instruct Llama4ForConditionalGeneration ✅ Xeon 6
google/gemma-3-4b-it Gemma3ForConditionalGeneration ✅ —
google/gemma-3-12b-it Gemma3ForConditionalGeneration ✅ —
google/gemma-4-E4B-it Gemma4ForConditionalGeneration ✅ Xeon 6
google/gemma-4-E2B-it Gemma4ForConditionalGeneration ✅ Xeon 6
google/gemma-4-26B-A4B-it Gemma4ForConditionalGeneration ✅ Xeon 6
microsoft/Phi-4-multimodal-instruct Phi4MMForCausalLM ✅ Xeon 6
Qwen/Qwen2.5-VL-7B-Instruct Qwen2VLForConditionalGeneration ✅ Xeon 6
Qwen/Qwen3-VL-30B-A3B-Instruct Qwen3VLMoeForConditionalGeneration ✅ Xeon 6
openai/whisper-large-v3 WhisperForConditionalGeneration ✅ Xeon 6

✅ 는 실행되고 최적화되었음을 의미해요.

더 알아보기 (Learn more)