SmolLM — blazingly fast and remarkably powerful
SmolLM — blazingly fast and remarkably powerful
SmolLM은 135M, 360M, 1.7B 파라미터 세 가지 크기의 초경량 언어 모델 시리즈예요. 로컬 기기에서 동작하는 소형 모델에 대한 관심이 커지는 흐름 속에서, 엄선된 고품질 코퍼스로 처음부터 훈련한 모델이죠.
출처: SmolLM 블로그
SmolLM-Corpus
이 모델들을 훈련한 코퍼스는 SmolLM-Corpus로 공개됐어요. 세 가지 핵심 구성 요소가 있어요.
- Cosmopedia v2: Mixtral이 생성한 합성 교과서·이야기 모음 (28B 토큰)
- Python-Edu: The Stack의 교육용 Python 샘플 (4B 토큰)
- FineWeb-Edu (deduplicated): FineWeb의 교육용 웹 샘플 (220B 토큰)
왜 소형 모델인가
소형 모델은 추론 비용을 크게 줄이고 사용자 프라이버시를 지킬 수 있어요. 마이크로소프트 Phi 시리즈, 알리바바 Qwen2(2B 미만), 메타 MobileLLM 같은 사례가 소형 모델의 잠재력을 보여줬지만, 데이터 큐레이션·훈련의 세부 내용은 잘 공개되지 않았어요. SmolLM은 이 부분을 투명하게 공개한 게 특징이에요.
평가
상식 추론과 세계 지식 등 다양한 벤치마크에서 같은 크기 카테고리의 다른 모델을 능가한다는 결과를 보여줬어요.