Automatic Prefix Caching — 공통 접두사 재사용
Automatic Prefix Caching
채팅 어플리케이션은 매 요청마다 같은 시스템 프롬프트·대화 이력을 다시 넣는 경우가 많아요. **Automatic Prefix Caching(자동 접두사 캐싱)**은 이런 공통된 프롬프트 접두사 결과를 재사용해, 첫 토큰까지 걸리는 시간(TTFT)과 연산 비용을 줄이는 기능이에요.
동작 원리
요청의 프롬프트가 이전에 처리된 적 있는 접두사와 일치하면, 새로 프리필(prefill)을 실행하는 대신 캐시된 KV 결과를 재사용해요. 요청마다 동일한 프롬프트가 반복되는 패턴에서 효과가 커요.
- 시스템 프롬프트가 크고 반복될수록 이득이 커요.
- 캐시 히트 시 프리필 연산이 크게 생략되어 TTFT와 GPU 부하가 줄어요.
관련 설정
CacheConfig의 enable_prefix_caching(기본 True)으로 켜고 끌 수 있고, prefix_caching_hash_algo(기본 sha256)로 접두사 해시 방식을 고를 수 있어요. 캐시는 GPU 메모리 여유분을 활용하므로, gpu_memory_utilization으로 할당을 조절할 수 있어요.
언제 유용한가
- 멀티턴 대화(대화 이력 반복)
- 공통 시스템 프롬프트를 쓰는 서비스
- 동일 문서를 많은 사용자가 조회하는 RAG 시나리오