Mixtral 아키텍처 — 희소 MoE와 라우터
Mixtral 아키텍처
Mixtral은 sparse mixture-of-experts(SMoE) 네트워크예요. 디코더 전용 모델로, feedforward 블록이 8개의 서로 다른 파라미터 그룹 중에서 일부를 골라 사용해요.
라우터의 동작
매 레이어, 매 토큰마다 라우터 네트워크가 2개의 '전문가(experts)'를 선택해서 그 토큰을 처리하고, 두 출력을 더해서(가산 결합) 진행해요. 이 방식이 파라미터 수를 늘리면서도 비용·지연은 통제하는 핵심이에요 — 토큰마다 전체 파라미터의 일부만 쓰기 때문이죠.
파라미터 효율
구체적으로 Mixtral은 총 46.7B 파라미터지만, 토큰당 12.9B 파라미터만 사용해요. 따라서 입력·출력 처리 속도와 비용이 12.9B 모델과 같은 수준이에요. 전문가와 라우터는 웹에서 추출한 데이터로 동시에 훈련됐어요.
특징
- 32k 토큰 컨텍스트 처리
- 영어·프랑스어·이탈리아어·독일어·스페인어 지원
- 코드 생성 성능 우수
- 인스트럭션 모델은 MT-Bench에서 8.3 점수