vllm bench mm-processor — 멀티모달 프로세서 벤치마크

vllm bench mm-processor는 다양한 설정에서 멀티모달(multimodal) 프로세서의 지연 시간을 벤치마크하는 하위 명령입니다. 이미지·비디오·오디오 같은 멀티모달 입력을 처리하는 프로세서만 따로 측정하고 싶을 때 사용합니다.

기본 사용 형태는 아래와 같습니다.

vllm bench mm-processor \
    --model Qwen/Qwen2-VL-7B-Instruct \
    --num-iters 30 \
    --num-iters-warmup 10

모델이 실제로 멀티모달 입력을 받는 방식을 그대로 재현하며, 프로세서 단계(입력 텐서 생성)의 지연 시간을 집중적으로 측정하므로 멀티모달 파이프라인의 병목 지점을 파악하는 데 유용합니다.

출처: 문서

본문

JSON CLI 인자를 넘길 때, 아래 두 가지 방식은 서로 동등합니다.

--json-arg '{"key1": "value1", "key2": {"key3": "value2"}}'
--json-arg.key1 value1 --json-arg.key2.key3 value2

즉 중첩된 JSON 구조를 --json-arg.key1 처럼 점(dot) 표기로 풀어서 전달할 수 있습니다.

또한 리스트 요소는 + 기호로 각각 전달할 수 있습니다.

--json-arg '{"key4": ["value3", "value4", "value5"]}'
--json-arg.key4+ value3 --json-arg.key4+='value4,value5'

Arguments 섹션에는 이 하위 명령이 받는 벤치마크 인자(예: 모델, 멀티모달 아이템 수, 프로세서 실행 조건 등)가 나열됩니다. 전체 목록은 페이지의 인자 표를 참고하고, 실행 가능한 상세 옵션은 다음 명령으로 확인할 수 있습니다.

vllm bench mm-processor --help