Llama 4 Scout — 17Bx16E, 10M 컨텍스트

Llama 4 Scout — 17Bx16E, 10M 컨텍스트

Llama 4 Scout은 17B 활성 파라미터, 16개 전문가를 가진 소형이면서 성능이 뛰어난 MoE 모델이에요. 총 파라미터는 109B이고, 10M 토큰 컨텍스트를 지원해요. 긴 문서를 통째로 넣어야 하는 작업에 특히 유리하죠.

출처: meta-llama/Llama-4-Scout-17B-16E-Instruct

주요 스펙

벤치마크

• Pre-trained: MMLU 79.6, MATH 50.3, MBPP 67.8, ChartQA 83.4, DocVQA 89.4
• Instruction-tuned: MMLU Pro 74.3, DocVQA(test) 94.4, MGSM 90.6, ChartQA 88.8

양자화

Scout은 BF16 가중치로 공개되며, on-the-fly int4 양자화로 단일 H100 GPU에 들어갈 수 있어요.

지원 언어

사전훈련은 200개 언어를 아우르지만, 공식 지원 언어는 12개(아랍어·영어·프랑스어·독일어·힌디어·인도네시아어·이탈리아어·포르투갈어·스페인어·타갈로그어·태국어·베트남어)예요.

더 알아보기

• Llama-4-Scout-17B-16E-Instruct 모델 카드
• Llama 4 발표 블로그