線形アテンション

linear attention

softmaxを取り除き、計算量とメモリを系列長に対して線形に抑えたアテンションの変種。

記事1本最終言及

線形アテンションは、transformerのセルフアテンションからsoftmaxを取り除くか別の関数に置き換え、計算量とメモリを系列長の二乗ではなく線形に抑えたアテンションの変種である。結合法則を使ってkeyとvalueを先に掛け合わせると長さに依存しない固定サイズの状態行列が得られ、トークンが入るたびにこの状態を更新するだけでよいため、リカレントネットワークのように動作する。

長いコンテキストを少ないメモリで処理できるが、過去の情報を固定サイズの状態に圧縮するため、特定の情報を正確に取り出す能力はフルアテンションより弱い。RWKV、Mamba、DeltaNetなどの構造がこの系統に属し、線形アテンション層とフルアテンション層を混ぜたハイブリッド構造を採るモデルもある。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIエージェント開発者が知るべきLLMの仕組みと設計ルールAI活用 ·

    線形アテンションとハイブリッドモデル

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。