Mamba

attention 없이 선택적 상태 공간 모델로 문장을 처리하는 sequence 모델 구조다.

기사 1편최근 언급

Mamba는 selective state space model(선택적 상태 공간 모델)을 바탕으로 한 sequence 모델 구조로, 2023년 Albert Gu와 Tri Dao가 발표했다. attention 없이 입력에 따라 달라지는 상태 공간 연산으로 문장을 처리해 연산량이 문장 길이에 선형으로 늘고, 추론 때 고정 크기의 상태만 유지한다.

transformer의 제곱 비용을 피하는 대안 구조로 연구되며 여러 크기의 공개 모델이 있다. 후속 구조 Mamba-2와, Mamba 층과 attention 층을 섞은 하이브리드 모델도 발표됐다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 작동 원리로 세우는 agent의 context 설계 기준AI 활용 ·

    …결과를 보면 Llama-2-7B 같은 표준 transformer는 8k 길이까지 높은 정확도를 유지하는 반면, RWKV-v5-7B와 Mamba-2.8B 같은 linear attention 모델은 2k~4k를 넘어서면 needle-in-a-haystack(긴 글 속에 숨긴 특정 정보 찾…

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.