线性注意力是transformer自注意力的一种变体,它去除softmax或以其他函数替代,使计算量和内存随序列长度线性而非平方增长。利用结合律先将key与value相乘,可得到与长度无关的固定大小状态矩阵,每进入一个词元只需更新该状态,因此其行为类似循环神经网络。
它能以较少内存处理长上下文,但由于将过去信息压缩进固定大小的状态,精确检索特定信息的能力弱于完整注意力。RWKV、Mamba、DeltaNet等架构属于这一类,一些模型采用线性注意力层与完整注意力层交错的混合结构。
linear attention
一种去除softmax、使计算量和内存随序列长度线性增长的注意力变体。
线性注意力是transformer自注意力的一种变体,它去除softmax或以其他函数替代,使计算量和内存随序列长度线性而非平方增长。利用结合律先将key与value相乘,可得到与长度无关的固定大小状态矩阵,每进入一个词元只需更新该状态,因此其行为类似循环神经网络。
它能以较少内存处理长上下文,但由于将过去信息压缩进固定大小的状态,精确检索特定信息的能力弱于完整注意力。RWKV、Mamba、DeltaNet等架构属于这一类,一些模型采用线性注意力层与完整注意力层交错的混合结构。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
线性注意力与混合模型
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。