セマンティックキャッシュは、クエリの意味的な類似性をもとに以前の応答を再利用するキャッシュである。文字列が完全に一致した場合にのみ保存結果を返す従来のキャッシュと異なり、クエリを埋め込みベクトルに変換し、類似度がしきい値以上の過去のクエリがあればその応答を返す。
LLMアプリケーションにおいて、言い回しだけが異なる類似の質問が繰り返される際にモデル呼び出しを減らし、コストと応答遅延を抑える用途で使われる。GPTCacheのようなオープンソース実装やベクトルデータベースを用いた実装がある。類似度のしきい値を緩くすると意味の異なる質問に以前の回答を誤って返すおそれがあるため、完全一致キャッシュと併用したり検証段階を加えたりすることが多い。