RWKV是一种像transformer一样并行训练、又像循环神经网络(RNN)一样高效推理的开源语言模型架构,以及基于该架构构建的模型系列。它由Bo Peng主导开发,作为Linux基金会旗下项目运营。
它以线性复杂度的循环运算取代注意力,推理时只保留固定大小的状态,因此内存不随输入长度增长。已发布多代、多种规模的模型,被归类为将过去信息压缩进固定状态的线性注意力类架构。
一种结合transformer并行训练与RNN高效推理的开源语言模型架构及模型系列。
RWKV是一种像transformer一样并行训练、又像循环神经网络(RNN)一样高效推理的开源语言模型架构,以及基于该架构构建的模型系列。它由Bo Peng主导开发,作为Linux基金会旗下项目运营。
它以线性复杂度的循环运算取代注意力,推理时只保留固定大小的状态,因此内存不随输入长度增长。已发布多代、多种规模的模型,被归类为将过去信息压缩进固定状态的线性注意力类架构。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
在 RULER 基准的“大海捞针”任务中(一个神奇数字被藏在文章文本里,在末尾被提问),Llama-2-7B 在 8k token 内保持高准确率,而 RWKV-v5-7B 和 Mamba-2.8B 在超过 2k 到 4k token 后急剧下降。
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。