Mambaは選択的状態空間モデルに基づくシーケンスモデル構造で、2023年にAlbert GuとTri Daoが発表した。アテンションを使わず、入力に応じて変化する状態空間演算で系列を処理するため、計算量が系列長に対して線形に増え、推論時には固定サイズの状態だけを保持する。
transformerの二乗コストを避ける代替構造として研究されており、複数のサイズの公開モデルがある。後続構造のMamba-2や、Mamba層とアテンション層を混ぜたハイブリッドモデルも発表されている。
アテンションを使わず、選択的状態空間モデルで系列を処理するシーケンスモデル構造。
Mambaは選択的状態空間モデルに基づくシーケンスモデル構造で、2023年にAlbert GuとTri Daoが発表した。アテンションを使わず、入力に応じて変化する状態空間演算で系列を処理するため、計算量が系列長に対して線形に増え、推論時には固定サイズの状態だけを保持する。
transformerの二乗コストを避ける代替構造として研究されており、複数のサイズの公開モデルがある。後続構造のMamba-2や、Mamba層とアテンション層を混ぜたハイブリッドモデルも発表されている。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
RULERベンチマークのneedle-in-a-haystackタスクでは、エッセイのテキストにマジックナンバーを隠して末尾で問い合わせますが、Llama-2-7Bが8kトークンまで高い精度を保つのに対し、RWKV-v5-7BとMamba-2.8Bは2kから4kトークンを超えると急激に劣化します。
記事を読む事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。