vllm bench sweep startup

vllm bench sweep startup 서브커맨드의 인자(Arguments)를 살펴볼게요. 매개변수 스윕으로 vLLM의 시작(startup) 성능을 여러 설정 조합에서 측정할 때 쓰는 명령이에요.

출처: 문서

본문

JSON CLI 인자를 넘길 때 아래 두 형태는 서로 동등해요.

--json-arg '{"key1": "value1", "key2": {"key3": "value2"}}'
--json-arg.key1 value1
--json-arg.key2.key3 value2

리스트 요소는 +를 붙여 개별 전달할 수도 있어요.

--json-arg '{"key4": ["value3", "value4", "value5"]}'
--json-arg.key4+ value3
--json-arg.key4+='value4,value5'

인자	설명
`--startup-cmd`	시작 벤치마크를 실행할 명령. 기본값: `vllm bench startup`
`--serve-params`	`vllm serve` 명령용 매개변수 조합이 담긴 JSON 파일 경로. `vllm bench startup`이 지원하는 매개변수만 적용돼요.
`--startup-params`	`vllm bench startup` 명령용 매개변수 조합이 담긴 JSON 파일 경로.
`--strict-params`	설정 시 스윕 파일의 알 수 없는 매개변수가 무시되지 않고 오류를 일으켜요. 기본값: `False`
`-o, --output-dir`	결과가 기록되는 메인 디렉터리. 기본값: `results`
`-e, --experiment-name`	이 실험의 이름(기본값: 현재 타임스탬프). 결과는 `output_dir/experiment_name` 아래 저장돼요.
`--num-runs`	매개변수 조합당 실행 횟수. 기본값: `1`
`--show-stdout`	설정 시 자식 커맨드의 표준 출력을 기록해요. 기본값: `False`
`--dry-run`	설정 시 실행할 명령만 출력하고 실제 실행은 하지 않아요. 기본값: `False`
`--resume`	이전 실행을 이어서 진행해요. 즉 `output_dir/experiment_name` 아래 아직 결과 파일이 없는 매개변수 조합만 실행해요. 기본값: `False`