semantic cache(시맨틱 캐시)는 질의의 의미적 유사성을 기준으로 이전 응답을 재사용하는 캐시다. 문자열이 정확히 일치할 때만 저장된 결과를 돌려주는 기존 캐시와 달리, 질의를 embedding 벡터로 변환해 유사도가 임계값 이상인 과거 질의가 있으면 그 응답을 돌려준다.
LLM 애플리케이션에서 표현만 다른 비슷한 질문이 반복될 때 모델 호출을 줄여 비용과 응답 지연을 낮추는 용도로 쓰이며, GPTCache 같은 오픈소스 구현과 벡터 데이터베이스 기반 구현이 있다. 유사도 임계값을 느슨하게 잡으면 뜻이 다른 질문에 이전 답을 잘못 돌려줄 수 있어, 정확 일치 캐시와 함께 두거나 검증 단계를 추가하는 경우가 많다.