구성 옵션

구성 옵션 (Configuration Options)

이 섹션은 vLLM을 실행할 때 가장 자주 쓰는 옵션들을 정리한 목록입니다. vLLM을 실제로 배포하기 전에 어떤 설정 수준이 있는지 파악하고, 우선순위를 이해하는 것이 중요합니다.

출처: 문서

본문

vLLM에는 크게 세 가지 구성 수준이 있으며, 높은 우선순위에서 낮은 우선순위 순서는 다음과 같습니다.

1. 요청 파라미터와 입력 인자 (Request parameters and input arguments) — 개별 요청 시 넘기는 파라미터(예: temperature, max_tokens 등) 및 커맨드라인 인자.
2. 엔진 인자 (Engine arguments) — LLM 객체나 vllm serve를 시작할 때 지정하는 추론 엔진 설정(예: tensor_parallel_size, max_model_len, gpu_memory_utilization).
3. 환경 변수 (Environment variables) — 프로세스 수준에서 적용되는 전역 설정(예: VLLM_CPU_KVCACHE_SPACE, 로깅·캐시 관련 변수).

상위 수준의 설정이 하위 수준의 설정보다 우선 적용됩니다. 즉 같은 항목이 여러 수준에서 지정되면 더 상위 수준의 값이 이깁니다.

대표적인 구성 페이지는 다음과 같습니다.

• Engine Arguments — LLM(...) 또는 vllm serve ...에서 쓰는 엔진 인자 전체 목록
• Environment Variables — vLLM이 읽는 환경 변수 전체 목록
• Conserving Memory — 메모리 부족(OOM)을 완화하는 옵션
• Optimization and Tuning — 성능 최적화와 튜닝
• Model Resolution — 모델 아키텍처를 찾고 불러오는 방법

더 알아보기 (Learn more)

• Engine Arguments — 엔진 인자 상세
• Environment Variables — 환경 변수 상세
• CLI Guide — vllm 명령줄 사용법