RWKV

一种结合transformer并行训练与RNN高效推理的开源语言模型架构及模型系列。

1篇文章最近提及

RWKV是一种像transformer一样并行训练、又像循环神经网络(RNN)一样高效推理的开源语言模型架构,以及基于该架构构建的模型系列。它由Bo Peng主导开发,作为Linux基金会旗下项目运营。

它以线性复杂度的循环运算取代注意力,推理时只保留固定大小的状态,因此内存不随输入长度增长。已发布多代、多种规模的模型,被归类为将过去信息压缩进固定状态的线性注意力类架构。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 智能体开发者必懂的模型内部机制:采样、注意力与上下文工程AI应用 ·

    在 RULER 基准的“大海捞针”任务中(一个神奇数字被藏在文章文本里,在末尾被提问),Llama-2-7B 在 8k token 内保持高准确率,而 RWKV-v5-7B 和 Mamba-2.8B 在超过 2k 到 4k token 后急剧下降。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。