linear attention

선형 어텐션

softmax를 없애 연산량과 메모리를 문장 길이에 선형으로 줄인 attention 변형이다.

기사 1편최근 언급

linear attention은 transformer의 self-attention에서 softmax를 없애거나 다른 함수로 대체해 연산량과 메모리를 문장 길이의 제곱이 아니라 선형으로 줄인 attention 변형이다. 결합 법칙을 이용해 key와 value를 먼저 곱하면 길이와 무관한 고정 크기의 상태 행렬이 생기고, token이 들어올 때마다 이 상태만 갱신하면 되므로 순환 신경망처럼 동작한다.

긴 context를 적은 메모리로 처리할 수 있지만 과거 정보를 고정 크기 상태에 압축하므로 특정 정보를 정확히 꺼내는 능력은 full attention보다 약하다. RWKV, Mamba, DeltaNet 같은 구조가 이 계열에 속하며, 일부 모델은 linear attention 층과 full attention 층을 섞은 하이브리드 구조를 쓴다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 작동 원리로 세우는 agent의 context 설계 기준AI 활용 ·

    full attention과 linear attention의 교환 관계

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.