추측 디코딩 — 생성 속도를 끌어올리는 요령

추측 디코딩 — 생성 속도를 끌어올리는 요령

자기회귀(autoregressive) 생성은 토큰을 한 개씩 만들어서 느리게 느껴질 때가 많아요. vLLM은 그 병목을 **추측 디코딩(Speculative Decoding)**으로 완화해요. 작은 드래프트 모델이 여러 토큰을 미리 찍어두고, 큰 타깃 모델이 그 후보를 한 번에 검증하는 방식이에요.

출처: https://docs.vllm.ai/en/latest/features/spec_decode.html

기본적인 흐름은 이렇게 돼요. 비용이 싼 작은 드래프트 모델이 다음에 올 토큰 몇 개를 추측하고, 정답 모델이 그 추측 결과를 병렬로 확인해요. 추측이 맞으면 한 번의 전방 패스로 여러 토큰을 생성한 셈이라 처리량이 올라가요.

vLLM에서 이 기능을 쓰려면 드래프트 모델을 지정하는 식으로 설정해요. 구체적인 인자와 지원 방식은 문서에서 안내하는데, 이 기술이 전체 응답 품질을 그대로 유지하면서 생성 속도를 개선하려는 목적이라는 점이 핵심이에요. 어느 쪽의 출력이 맞는지는 항상 타깃 모델이 판단하니까요.

추측 디코딩은 특히 지연 시간보다 **처리량(throughput)**이 중요한 서빙 시나리오에서 효과가 크지만, 모델·하드웨어에 따라 이득이 달라질 수 있어요. 자체 벤치마크로 확인해 보는 걸 권장해요.

더 알아보기