Prompt Caching 공식 발표 — 비용 90%·지연 최대 85% 절감
Prompt Caching 공식 발표
Anthropic이 프롬프트 캐싱을 발표하면서 강조한 것은 '반복되는 긴 컨텍스트의 처리 비용을 획기적으로 줄인다'는 점이에요. 긴 문서·대화·도구 정의가 반복될수록 캐시 덕분에 전반적인 비용과 지연이 함께 내려갑니다.
발표의 핵심 수치
- 캐시된 입력에 대해 비용을 최대 90% 절감
- 캐시된 입력에서 지연을 최대 85% 절감
- 1024 토큰 이상의 프롬프트에서 적용 가능
왜 중요한가
프롬프트 캐싱은 '단순 기능'이라기보다 운영 비용과 응답 속도를 함께 잡을 수 있는 기반 기능이에요. 특히 고객지원·문서 분석처럼 같은 시스템 프롬프트·문서를 반복 사용하는 서비스에서 체감 효과가 큽니다.
사용 시 고려
- 캐시는 일정 시간 뒤 만료되므로, 자주 반복되는 컨텍스트를 캐시하는 게 유리해요.
- 캐시 브레이크포인트를 어디에 두느냐에 따라 재사용 가능한 구간이 달라져요.
- 가격 체계가 '캐시 쓰기 + 캐시 읽기'로 나뉘므로 비용 구조를 따로 확인해야 해요.