多头潜在注意力

Multi-Head Latent Attention

一种将key和value压缩为低维潜在向量以减少KV缓存内存的注意力变体。

2篇文章最近提及

多头潜在注意力(MLA)是一种将key和value压缩为低维潜在向量后存储的注意力变体,由DeepSeek于2024年在DeepSeek-V2中提出。推理时KV缓存只保留压缩后的向量,需要时再还原为key和value,因此比多头注意力大幅减少KV缓存内存。

它用于DeepSeek-V2、DeepSeek-V3、DeepSeek-R1等模型,并作为处理长上下文时提高内存效率的方法被其他模型采用。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 智能体开发者必懂的模型内部机制:采样、注意力与上下文工程AI应用 ·

    开放的前沿模型 Kimi K3 将多头潜在注意力(Multi-Head Latent Attention)与 KDA 线性层、稳定层归一化和前馈模块结合起来,并用门控在生成过程中控制记忆。

    阅读文章
  • DeepSeek开源推理引擎,V4.1-Flash编程成本降至十四分之一AI资讯 ·

    FlashMLA:面向多头潜在注意力的GPU内核库

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。