Semantic Caching — 의미가 같으면 답을 재사용한다
Semantic Caching
사람들은 같은 질문을 조금씩 다르게 말해요. Semantic caching(의미 캐싱) 은 문자열이 아니라 의미(벡터 유사도) 로 캐시를 찾아, 이전에 검증된 답변을 재사용해 비용과 지연을 줄이는 기법이에요. LiteLLM, GPTCache, Redis가 대표 구현이에요.
이 카테고리의 문서
- 개요: LiteLLM Caching — 프록시 수준 캐싱
- 핵심 기능: GPTCache — 오픈소스 의미 캐시 라이브러리
- 실전·API: Redis Semantic Cache — 벡터 인덱스로 구현