vLLM 컴포넌트 실행
vLLM 컴포넌트 실행 (vllm launch)
vllm launch는 vLLM의 개별 구성 요소(컴포넌트)를 실행하는 명령이에요. 전체 서버를 띄우지 않고도 특정 컴포넌트만 따로 시작할 수 있어요. 분산 환경에서 특정 역할만 담당하는 프로세스를 띄우거나, GPU 없이 전/후처리만 하는 렌더링 서버를 실행할 때 유용해요.
현재 하위 명령(subcommand) 구조로 여러 컴포넌트를 실행할 수 있어요.
하위 명령
| 명령 | 설명 |
|---|---|
render |
GPU 없는 렌더링 서버 실행 (전처리·후처리만 수행) |
render
vllm launch render는 GPU를 사용하지 않고 전처리(preprocessing)와 후처리(postprocessing)만 담당하는 서버를 띄워요. 추론 엔진과 분리해서 이미지/멀티모달 입력의 전·후처리 워크로드를 별도 프로세스에서 처리하고 싶을 때 사용해요.
분산 또는 disaggregated 배포에서 추론과 전·후처리를 분리할 때 특히 유용해요.
사용 예시
vllm launch render --help
특정 컴포넌트의 인자를 확인하려면 각 하위 명령에 --help를 붙이면 돼요.
더 알아보기
- vLLM vllm serve 문서: 전체 서버 서빙
- vLLM vllm run-batch 문서: 오프라인 배치 추론
- vLLM vllm bench throughput 문서: 벤치마킹