線形アテンションは、transformerのセルフアテンションからsoftmaxを取り除くか別の関数に置き換え、計算量とメモリを系列長の二乗ではなく線形に抑えたアテンションの変種である。結合法則を使ってkeyとvalueを先に掛け合わせると長さに依存しない固定サイズの状態行列が得られ、トークンが入るたびにこの状態を更新するだけでよいため、リカレントネットワークのように動作する。
長いコンテキストを少ないメモリで処理できるが、過去の情報を固定サイズの状態に圧縮するため、特定の情報を正確に取り出す能力はフルアテンションより弱い。RWKV、Mamba、DeltaNetなどの構造がこの系統に属し、線形アテンション層とフルアテンション層を混ぜたハイブリッド構造を採るモデルもある。