vllm bench sweep

vLLM의 벤치마크 도구인 vllm bench 중에서도 매개변수 스윕(sweep)을 다루는 sweep 서브커맨드를 살펴볼게요. 일정한 단위 설정을 바꿔가며 성능을 반복 측정하고 싶을 때 사용해요.

출처: 문서

본문

vllm bench sweep는 일련의 매개변수 조합에 대해 벤치마크를 실행하는 명령이에요. 하위 서브커맨드는 다음과 같아요.

커맨드	설명
`serve`	여러 설정 하에서 vLLM 서버 벤치마크 실행
`serve_workload`	서로 다른 워크로드 수준에 대한 지연-처리량 트레이드오프 탐색
`startup`	매개변수 조합에 대한 vLLM 시작 시간 벤치마크
`plot`	스윕 결과로부터 성능 곡선 그리기
`plot_pareto`	tokens/s/user 와 tokens/s/GPU 사이의 파레토 프론티어 그리기

이 커맨드는 특히 모델 서빙 성능을 폭넓게 조사해야 할 때 유용한 워크플로우를 제공해요.