벤치마크 스위트

벤치마크 스위트 (Benchmark Suites)

vLLM에는 성능 테스트와 평가를 위한 포괄적인 벤치마킹 도구가 갖춰져 있어요. 모델 서버를 실제 운영에 올리기 전에 어떤 설정이 가장 잘 맞는지 확인하고 싶을 때, 이 도구들이 큰 역할을 해 줘요. 어떤 도구가 있는지 먼저 큰 그림을 잡아볼게요.

• 벤치마크 CLI (Benchmark CLI) — vllm bench CLI 도구와 전용 벤치마크 스크립트로, 대화형 성능 테스트를 할 때 써요.
• 파라미터 스윕 (Parameter Sweeps) — 여러 설정을 돌아가며 vllm bench 실행을 자동화해요. 최적화와 튜닝을 할 때 특히 유용하죠.
• 성능 대시보드 (Performance Dashboard) — 커밋마다 벤치마크를 돌려 결과를 자동으로 게시하는 CI에요.
• vLLM Recipes로 벤치마킹하기 — Recipe 변환 도구를 쓰면 vLLM Recipes에서 config.yaml과 env.sh를 뽑아내 벤치마킹에 활용할 수 있어요.

출처: 공식문서

더 알아보기 (Learn more)

• 벤치마크 명령어 하나하나가 궁금하다면 벤치마크 CLI를 읽어보세요.
• 여러 파라미터 조합을 자동으로 비교하고 싶다면 파라미터 스윕을 확인해요.
• 커밋 단위 성능 추이가 궁금하다면 성능 대시보드로 넘어가 보세요.