vllm bench sweep serve — 서빙 파라미터 스윕

vllm bench sweep serve — 서빙 파라미터 스윕

vllm bench sweep serve는 vllm serve와 vllm bench serve의 파라미터 조합을 반복 실행하며 서빙 성능을 스윕(sweep)하는 하위 명령입니다. serve_params와 bench_params JSON에 담긴 조합들을 카테시안 곱(Cartesian product)으로 순회하면서 각 조합의 벤치마크 결과를 디렉터리에 기록합니다.

출처: 문서

본문

JSON CLI 인자

JSON CLI 인자를 넘길 때, 아래 두 방식은 서로 동등합니다.

--json-arg '{"key1": "value1", "key2": {"key3": "value2"}}'
--json-arg.key1 value1 --json-arg.key2.key3 value2

리스트 요소는 + 기호로 각각 전달할 수 있습니다.

--json-arg '{"key4": ["value3", "value4", "value5"]}'
--json-arg.key4+ value3 --json-arg.key4+='value4,value5'

핵심 옵션

옵션 기본값 설명
--serve-cmd None 서버 실행 명령(vllm serve ...)
--bench-cmd None 벤치마크 실행 명령(vllm bench serve ...)
--after-bench-cmd None 벤치마크 후 기본 ServerWrapper.clear_cache() 대신 실행할 명령
--show-stdout False 하위 명령의 표준 출력 로그(디버깅용, 많을 수 있음)
--serve-params None vllm serve 파라미터 조합 목록이 담긴 JSON 경로
--bench-params None vllm bench serve 파라미터 조합 목록이 담긴 JSON 경로
-o, --output-dir results 결과를 기록할 디렉터리
--num-runs 3 파라미터 조합당 실행 횟수
--dry-run False 실제 실행 없이 명령 목록만 출력
--resume None output_dir 아래의 이전 타임스탬프 디렉터리 이름을 지정해 이어서 실행(출력이 없는 조합만)

serve_params와 bench_params를 둘 다 지정하면 그 카테시안 곱을 순회합니다.

vllm bench sweep serve \
    --serve-params serve_params.json \
    --bench-params bench_params.json \
    --output-dir results \
    --num-runs 3

더 알아보기 (Learn more)