vllm bench sweep plot — 스윕 결과 그림 그리기

vllm bench sweep plot — 스윕 결과 그림 그리기

vllm bench sweep plot은 스윕(sweep) 벤치마크 결과를 그림(plot)으로 그리는 하위 명령입니다. 변수별로 figure/행/열/커브를 나누어, 처리량과 지연 시간 같은 지표 간의 관계를 시각화할 수 있습니다.

출처: 문서

본문

JSON CLI 인자

JSON CLI 인자를 넘길 때, 아래 두 방식은 서로 동등합니다.

--json-arg '{"key1": "value1", "key2": {"key3": "value2"}}'
--json-arg.key1 value1 --json-arg.key2.key3 value2

리스트 요소는 + 기호로 각각 전달할 수 있습니다.

--json-arg '{"key4": ["value3", "value4", "value5"]}'
--json-arg.key4+ value3 --json-arg.key4+='value4,value5'

핵심 옵션

옵션 기본값 설명
--fig-dir "" 그림을 저장할 디렉터리(OUTPUT_DIR 기준)
--fig-by "" 각 변수 조합마다 별도 figure를 만들 쉼표 구분 변수 목록
--row-by "" 각 변수 조합마다 별도 행을 만들 변수 목록
--col-by "" 각 변수 조합마다 별도 열을 만들 변수 목록
--curve-by None 각 변수 조합마다 별도 커브를 만들 변수 목록
--var-x request_throughput x축 변수
--var-y p99_e2el_ms y축 변수
--filter-by "" 필터 조건. 예: max_concurrency<1000,max_num_batched_tokens<=4096
--bin-by "" 빈(bin) 크기 지정. 예: request_throughput%%1
--scale-x / --scale-y None 축 스케일(log, sqrt 등, seaborn 참고)
--dry-run False 실제 그리지 않고 각 figure 정보만 출력

--filter-by는 이상치(outlier)를 제거할 때, --bin-by는 너무 가까운 점들이 겹치지 않게 할 때 유용합니다. 사용 예시는 다음과 같습니다.

vllm bench sweep plot \
    --var-x request_throughput \
    --var-y p99_e2el_ms \
    --curve-by max_num_batched_tokens \
    --filter-by "max_concurrency<1000"

더 알아보기 (Learn more)