설치 (Installation)
설치 (Installation)
vLLM을 설치하기 전에, 자신이 어떤 하드웨어에서 돌릴지부터 짚고 갈게요. vLLM은 다음 하드웨어 플랫폼을 지원해요.
하드웨어 플러그인
vLLM은 메인 vllm 저장소 바깥에 있는 서드파티 하드웨어 플러그인도 지원해요. 이들은 Hardware-Pluggable RFC를 따르죠.
지원되는 모든 하드웨어 목록은 vLLM 웹사이트의 Universal Compatibility — Hardware에서 확인할 수 있어요.
새 하드웨어를 추가하고 싶다면 Slack이나 이메일로 연락해 주세요.