Jamba — Transformer·Mamba가 결합된 하이브리드 MoE 모델

Jamba — Transformer·Mamba가 결합된 하이브리드 MoE 모델

Jamba는 AI21이 공개한 Transformer-Mamba 하이브리드 MoE(혼합 전문가) 언어 모델이에요. Transformer의 성능과 상태 공간 모델(SSM)인 Mamba의 효율·긴 문맥(최대 256K 토큰)을 동시에 노린 구조입니다.

출처: https://huggingface.co/docs/transformers/model_doc/jamba

전체 파라미터는 52B에서 398B까지 다양하고, 블록·레이어 구조(blocks-and-layers) 덕분에 Transformer와 Mamba 레이어를 한 모델 안에 자연스럽게 섞을 수 있어요. 아래 페이지에서 아키텍처, 모델 패밀리, vLLM 배포까지 살펴볼게요.