KVキャッシュは、Transformerベースの言語モデルがテキストを生成する際、すでに処理したトークンのAttentionのキーとバリューのテンソルをGPUメモリに保存し、次のトークン生成時に再利用する手法およびその保存領域である。自己回帰生成では新しいトークンごとにそれまでの全トークンへのAttentionを計算する必要があるが、キーとバリューを保持しておけば新しいトークン1つ分の計算を追加するだけで済む。
KVキャッシュの大きさはコンテキスト長とモデルの層数、Attentionヘッド数に比例して増えるため、長いコンテキストではGPUメモリを大きく消費する。これを抑えるために、キーとバリューを低精度に量子化する方法や、複数のリクエストが共有する先頭部分のキャッシュを再利用するプレフィックスキャッシングが使われる。会話の前半部分が変わると、その地点以降のキャッシュは再計算が必要になる。