KV缓存是指基于Transformer的语言模型在生成文本时,将已处理token的注意力键(key)和值(value)张量保存在GPU内存中,以便生成后续token时重复使用的技术及其存储区域。在自回归生成中,每生成一个新token都需要对之前所有token计算注意力;保存键值后,只需追加新token对应的计算即可。
KV缓存的大小随上下文长度、模型层数和注意力头数增长,因此在长上下文下会占用大量GPU内存。常见的缓解方法包括将键值量化为低精度,以及在多个请求共享相同前缀时重用该部分缓存的前缀缓存。若对话前半部分发生变化,从该位置起的缓存就必须重新计算。