Mamba-2 논문 — 상태공간 이중성(SSD)과 어텐션 통합
Mamba-2 논문 — 상태공간 이중성(SSD)과 어텐션 통합
Mamba-2 는 "Transformers are SSMs"라는 제목답게, 상태공간 모델과 트랜스포머 어텐션이 구조적으로 같은 계산을 다르게 표현한 것임을 보이며 상태공간 이중성(State Space Duality, SSD) 을 제시해요.
핵심 아이디어
- 선형 어텐션이나 특정 SSM은 결국 같은 준-별렬(quasi-separable) 행렬 곱(SSD) 으로 수렴한다는 걸 밝혀요.
- 이를 이용해 Mamba 구조를 어텐션 친화적인 블록 행렬 연산으로 재구성해, GPU 텐서 코어를 최대한 활용하는 SSD 알고리즘을 제시해요.
- Mamba-2 블록은 Mamba-1보다 단순해지고 커널·병렬화가 크게 개선돼 학습과 추론 스루풋이 높아져요.
실용성
mamba_ssm.Mamba2 모듈로 바로 쓸 수 있고, SSD의 최소 내부 구현(ssd_minimal.py)도 제공한다. 동일 데이터·스케일에서 트랜스포머·Mamba-1과 공정하게 비교하는 황금 벤치마크를 보여줘요.