linear attention은 transformer의 self-attention에서 softmax를 없애거나 다른 함수로 대체해 연산량과 메모리를 문장 길이의 제곱이 아니라 선형으로 줄인 attention 변형이다. 결합 법칙을 이용해 key와 value를 먼저 곱하면 길이와 무관한 고정 크기의 상태 행렬이 생기고, token이 들어올 때마다 이 상태만 갱신하면 되므로 순환 신경망처럼 동작한다.
긴 context를 적은 메모리로 처리할 수 있지만 과거 정보를 고정 크기 상태에 압축하므로 특정 정보를 정확히 꺼내는 능력은 full attention보다 약하다. RWKV, Mamba, DeltaNet 같은 구조가 이 계열에 속하며, 일부 모델은 linear attention 층과 full attention 층을 섞은 하이브리드 구조를 쓴다.