セマンティックキャッシュ

semantic cache

クエリの意味的な類似性をもとに以前の応答を再利用するキャッシュで、LLMアプリケーションのコストと遅延を減らすために使われる。

記事1本最終言及

セマンティックキャッシュは、クエリの意味的な類似性をもとに以前の応答を再利用するキャッシュである。文字列が完全に一致した場合にのみ保存結果を返す従来のキャッシュと異なり、クエリを埋め込みベクトルに変換し、類似度がしきい値以上の過去のクエリがあればその応答を返す。

LLMアプリケーションにおいて、言い回しだけが異なる類似の質問が繰り返される際にモデル呼び出しを減らし、コストと応答遅延を抑える用途で使われる。GPTCacheのようなオープンソース実装やベクトルデータベースを用いた実装がある。類似度のしきい値を緩くすると意味の異なる質問に以前の回答を誤って返すおそれがあるため、完全一致キャッシュと併用したり検証段階を加えたりすることが多い。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • エージェントの差別化は「インテリジェンスプレーン」へ、Oracleが示す4つの実践AI活用 ·

    分類は、単一セッション内に存在する短期記憶(作業用のコンテキストウィンドウと、繰り返しのクエリに対するセマンティックキャッシュ)と、セッションをまたいで持続する長期記憶に分かれます。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。