자동 프리픽스 캐싱 — KV 캐시 재사용으로 처리량 극대화
자동 프리픽스 캐싱
Automatic Prefix Caching(APC)은 기존 쿼리의 KV 캐시를 캐싱해 두고, 새 쿼리가 동일한 프리픽스를 공유하면 그 부분을 다시 계산하지 않고 재사용하는 기법이에요. 중복 연산을 건너뛰어 처리량·지연을 크게 개선해요.
켜는 법
vLLM 엔진에서 enable_prefix_caching=True를 설정하면 돼요.
# vllm 엔진 예시 (개념)
from vllm import LLM
llm = LLM(model="Qwen/Qwen3-8B", enable_prefix_caching=True)
유리한 워크로드
- 긴 문서 반복 쿼리: 같은 회계연례 보고서를 여러 질문으로 검색 — 문서는 한 번만 처리
- 멀티턴 대화: 대화 히스토리를 매 라운드 재사용
이 두 경우 모두 '같은 프리픽스'가 반복되므로 APC 이득이 커요.
한계
APC는 일반적으로 성능을 떨어뜨리지 않지만, 프리필(prefill) 단계만 줄이고 디코딩(새 토큰 생성) 단계는 줄이지 않아요. 답변이 긴 워크로드에선 이득이 제한적일 수 있어요.