Mamba

一种不使用注意力、以选择性状态空间模型处理序列的模型架构。

1篇文章最近提及

Mamba是一种基于选择性状态空间模型的序列模型架构,由Albert Gu和Tri Dao于2023年提出。它不使用注意力,而是以随输入变化的状态空间运算处理序列,计算量随序列长度线性增长,推理时只需保留固定大小的状态。

它作为避免transformer平方开销的替代架构受到研究,已发布多种规模的开放模型。后续架构Mamba-2以及将Mamba层与注意力层混合的模型也已发表。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 智能体开发者必懂的模型内部机制:采样、注意力与上下文工程AI应用 ·

    在 RULER 基准的“大海捞针”任务中(一个神奇数字被藏在文章文本里,在末尾被提问),Llama-2-7B 在 8k token 内保持高准确率,而 RWKV-v5-7B 和 Mamba-2.8B 在超过 2k 到 4k token 后急剧下降。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。