Mamba 논문 — 선형 시간 시퀀스 모델링
Mamba 논문 — 선형 시간 시퀀스 모델링
Mamba 는 언어 모델링에서 이전의 준-2차(subquadratic) 모델이 트랜스포머에 못 미치던 격차를 메운 상태공간 모델이에요. 핵심은 선택 메커니즘(selective mechanism) 이에요.
왜 선택이 필요한가
기존 상태공간 모델(SSM)은 상태 전이를 입력과 무관하게 고정해 정보 밀도가 높은 데이터에서 표현력이 부족했어요. Mamba는 파라미터를 입력에 따라 동적으로 만들(선택적) 어 토큰에 따라 상태로 흘려보낼 정보를 조절해요. Attention의 '어디에 주목할지'와 유사한 기능을 선형 시간에 얻는 셈이에요.
하드웨어 친화 설계
선택 메커니즘은 재계산(recomputation)과 메모리 효율적 커널로 FlashAttention 스타일의 하드웨어 인식 구현을 가능하게 해요. 그래서 순수 SSD 병렬화나 입력 의존 선택에도 불구하고 선형 시간·일정 메모리로 실행돼요.
결과
mamba-2.8b가 같은 크기의 Pythia 등 트랜스포머를 5-shot MMLU·LAMBADA 등에서 능가하거나 맞먹었고, 학습 스루풋은 트랜스포머보다 5배 빠른 경우도 있었어요. 상태 크기나 선택성 제거 같은 소거 실험으로 각 요소의 기여를 보여줘요.