KV缓存

KV cache

Transformer模型在生成过程中保存已处理token的键和值以避免重复计算的内存区域。

5篇文章最近提及

KV缓存是指基于Transformer的语言模型在生成文本时,将已处理token的注意力键(key)和值(value)张量保存在GPU内存中,以便生成后续token时重复使用的技术及其存储区域。在自回归生成中,每生成一个新token都需要对之前所有token计算注意力;保存键值后,只需追加新token对应的计算即可。

KV缓存的大小随上下文长度、模型层数和注意力头数增长,因此在长上下文下会占用大量GPU内存。常见的缓解方法包括将键值量化为低精度,以及在多个请求共享相同前缀时重用该部分缓存的前缀缓存。若对话前半部分发生变化,从该位置起的缓存就必须重新计算。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • Gyro-M 实测:16GB 显卡跑通六项编程任务,该不该换AI性能 ·

    如果提示词已经处理过并存入键值缓存,预填充会快得多。

    阅读文章
  • 智能体开发者必懂的模型内部机制:采样、注意力与上下文工程AI应用 ·

    即便如此仍要学习底层的理由很实际:理解键值缓存和注意力变体的开发者,能够提前预判上下文限制和计算开销,而不是等到生产环境中才发现。

    阅读文章
  • 16GB显卡跑满128k上下文:ByteShape 3位量化27B模型实测AI性能 ·

    之所以选择IQ3XS版本,是因为它搭配Q8 KV缓存后还能给128k上下文留出空间。

    阅读文章
  • DeepSeek开源推理引擎,V4.1-Flash编程成本降至十四分之一AI资讯 ·

    托管API所依赖的在线生产层并未包含在此次发布中:KV缓存系统(存储注意力状态、让模型无需重复处理先前token的内存)、预填充与解码分离(把这两个阶段放到不同的硬件池上运行),以及跨副本的负载均衡。

    阅读文章
  • Qwen 3.8实测四款编码智能体:换harness不如调好配置AI性能 ·

    llama-server的配置也预先锁定:200,000 token上下文、开启flash attention、单槽位( )、q40量化的键值缓存、批大小4096和512、最多两个草稿token的draft MTP推测解码,以及用于聊天模板的 参数。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。