多头注意力是transformer中将注意力拆分为多个头并行计算、再将输出拼接并投影的结构。每个头用各自的权重投影query、key和value,从不同角度学习词元之间的关系。它由2017年的论文《Attention Is All You Need》提出。
推理时每个头的key和value都要存入KV缓存,内存开销较大。为此出现了多个头共享key和value的多查询注意力、分组查询注意力,以及压缩存储key和value的多头潜在注意力等变体。
multi-head attention
将注意力分成多个头并行计算再合并结果的transformer核心结构。
多头注意力是transformer中将注意力拆分为多个头并行计算、再将输出拼接并投影的结构。每个头用各自的权重投影query、key和value,从不同角度学习词元之间的关系。它由2017年的论文《Attention Is All You Need》提出。
推理时每个头的key和value都要存入KV缓存,内存开销较大。为此出现了多个头共享key和value的多查询注意力、分组查询注意力,以及压缩存储key和value的多头潜在注意力等变体。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
多头注意力并行运行多组 Q、K、V 投影,把输出拼接后再通过一个更宽的 WO 投影,使模型能够同时关注不同的表示子空间。
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。