설치
설치 (Installation)
vLLM은 다양한 하드웨어 플랫폼을 지원해요. vLLM을 설치하기 전에, 자신이 사용할 하드웨어가 어떤 종류인지 먼저 파악해두면 좋아요. vLLM은 커다란 단일 패키지가 아니라, 하드웨어 종류에 따라 설치 방법이 조금씩 달라지거든요.
vLLM이 지원하는 하드웨어 플랫폼은 다음과 같습니다.
하드웨어 플러그인 (Hardware Plugins)
vLLM은 메인 vllm 저장소 밖에 존재하는 서드파티 하드웨어 플러그인도 지원해요. 이들은 Hardware-Pluggable RFC를 따릅니다.
지원되는 모든 하드웨어 목록은 vLLM 웹사이트의 Universal Compatibility - Hardware에서 볼 수 있어요.
요약
- GPU를 쓴다면 GPU 설치 가이드를,
- CPU를 쓴다면 CPU 설치 가이드를 참고하세요.
- 대부분의 경우 빠른 Python 환경 관리자 uv를 쓰는 걸 권장해요.