多头注意力

multi-head attention

将注意力分成多个头并行计算再合并结果的transformer核心结构。

1篇文章最近提及

多头注意力是transformer中将注意力拆分为多个头并行计算、再将输出拼接并投影的结构。每个头用各自的权重投影query、key和value,从不同角度学习词元之间的关系。它由2017年的论文《Attention Is All You Need》提出。

推理时每个头的key和value都要存入KV缓存,内存开销较大。为此出现了多个头共享key和value的多查询注意力、分组查询注意力,以及压缩存储key和value的多头潜在注意力等变体。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 智能体开发者必懂的模型内部机制:采样、注意力与上下文工程AI应用 ·

    多头注意力并行运行多组 Q、K、V 投影,把输出拼接后再通过一个更宽的 WO 投影,使模型能够同时关注不同的表示子空间。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。