Mixtral — 희소 MoE 오픈 모델
Mixtral
Mixtral은 Mistral AI가 공개한 희소 MoE(Sparse Mixture-of-Experts) 모델이에요. Apache 2.0 오픈웨이트로 배포되어, Llama 2 70B보다 대부분의 벤치마크에서 우수한 성능을 내면서도 추론 속도는 6배 빠른 것이 핵심 강점이에요. 총 파라미터는 많지만 토큰당 쓰는 파라미터는 적어서, 비용·지연 효율이 뛰어나요.
이 카테고리의 문서
- 아키텍처: SMoE와 라우터 동작 원리
- 모델 라인업: Mixtral 8x7B / Instruct
- 배포와 성능: vLLM 연동과 벤치마크