추측 디코딩 개요 — 방식과 선택 기준

추측 디코딩 개요

중·저 QPS(쿼리/초)의 메모리 바운드 워크로드에서 토큰 간 지연을 줄이고 싶다면 추측 디코딩이 좋아요. 핵심 아이디어는 'draft' 모델이 후보 토큰을 미리 생성하면 target 모델이 그 후보를 병렬로 검증하면서 실제로 생성하는 것처럼 흘려보내는 거예요.

지원되는 방식

vLLM은 모델 기반 방식이 가장 큰 지연 감소를 주고, 단순한 방식은 피크 부하를 늘리지 않으면서 적당한 가속을 줘요.

• EAGLE: 강력한 범용 모델 기반 방식
• MTP (Multi-Token Prediction): target 모델이 네이티브 MTP 지원 시 최적
• Draft Model: 별도 작은 모델 사용
• Parallel Draft Model (PARD): 드래프트 지연이 적음
• N-Gram / Suffix Decoding: 드래프트 모델 없이 가볍게

방식 선택 표

CLI로 간단히 켜기

vllm serve <target-model> --speculative-config '{
  "method": "draft_model",
  "model": "<draft-model>",
  "num_speculative_tokens": 5
}'

실제 이득은 모델 패밀리·트래픽·하드웨어·샘플링 설정에 따라 달라지니 벤치마크로 확인하세요.

더 알아보기

• vLLM Speculative Decoding
• vLLM Speculators