Mamba 공식 저장소 — 선택적 상태공간 모델
Mamba 공식 저장소 — 선택적 상태공간 모델
Mamba 저장소는 "Mamba: Linear-Time Sequence Modeling with Selective State Spaces"의 공식 구현이에요. FlashAttention 정신을 이어받은 하드웨어 친화적 설계로 선택적 SSM(selective state space model) 레이어를 제공해요.
설치와 구조
pip install mamba-ssm --no-build-isolation # 코어 패키지
MAMBA_KEEP_CUDA_BUILD=TRUE pip install mamba-ssm --no-build-isolation # CUDA 확장 포함
mamba_ssm 는 핵심 모듈들로 이뤄져요:
- selective SSM 레이어(
Mamba): 상태를 입력에 따라 선택적으로 갱신하는 핵심 블록. - Mamba-2 / Mamba-3 블록: SSD 기반과 개선형 구현.
- 언어 모델 예시(
mamba_ssm.models.mixer_seq_simple): Mamba 블록을 쌓은 완전한 seq2seq 백본.
사전 학습 모델
Hugging Face state-spaces 조직에 mamba-130m~mamba-2.8b, mamba2-* 시리즈가 Pile(300B 토큰)으로 학습돼 올라와 있고, 제로샷 평가·생성 벤치마크 스크립트를 제공한다.