KVキャッシュ

KV cache

Transformerモデルが生成中に処理済みトークンのキーとバリューを保存し、再計算を避けるためのメモリ領域。

記事4本最終言及

KVキャッシュは、Transformerベースの言語モデルがテキストを生成する際、すでに処理したトークンのAttentionのキーとバリューのテンソルをGPUメモリに保存し、次のトークン生成時に再利用する手法およびその保存領域である。自己回帰生成では新しいトークンごとにそれまでの全トークンへのAttentionを計算する必要があるが、キーとバリューを保持しておけば新しいトークン1つ分の計算を追加するだけで済む。

KVキャッシュの大きさはコンテキスト長とモデルの層数、Attentionヘッド数に比例して増えるため、長いコンテキストではGPUメモリを大きく消費する。これを抑えるために、キーとバリューを低精度に量子化する方法や、複数のリクエストが共有する先頭部分のキャッシュを再利用するプレフィックスキャッシングが使われる。会話の前半部分が変わると、その地点以降のキャッシュは再計算が必要になる。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIエージェント開発者が知るべきLLMの仕組みと設計ルールAI活用 ·

    KVキャッシュやアテンションの派生方式を理解している開発者は、コンテキストの上限や計算のオーバーヘッドを本番環境で初めて思い知るのではなく、事前に見越すことができます。

    記事を読む
  • 16GB・70WのGPUで27Bモデルを128kコンテキストで動かす検証結果AI性能 ·

    IQ3XSビルドを選んだのは、Q8のKVキャッシュと組み合わせれば128kコンテキストの余地が残るからです。

    記事を読む
  • DeepSeekがV4.1-Flashと推論エンジン公開、コーディング費用は14分の1にAIニュース ·

    自前ホスティングにはKVキャッシュのリスクが伴います。

    記事を読む
  • ローカルLLMでコーディングエージェント4種を比較、修正数の差はわずかAI性能 ·

    会話の先頭を変えると、ターンごとにサーバーのKVキャッシュのプレフィックスが無効になるからです。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。