Mamba는 selective state space model(선택적 상태 공간 모델)을 바탕으로 한 sequence 모델 구조로, 2023년 Albert Gu와 Tri Dao가 발표했다. attention 없이 입력에 따라 달라지는 상태 공간 연산으로 문장을 처리해 연산량이 문장 길이에 선형으로 늘고, 추론 때 고정 크기의 상태만 유지한다.
transformer의 제곱 비용을 피하는 대안 구조로 연구되며 여러 크기의 공개 모델이 있다. 후속 구조 Mamba-2와, Mamba 층과 attention 층을 섞은 하이브리드 모델도 발표됐다.