huggingface/smollm — 코드 저장소

huggingface/smollm — 코드 저장소

huggingface/smollm 저장소는 SmolLM 시리즈의 사전훈련, 포스트훈련, 평가, 로컬 추론 코드를 담고 있어요. 소형 모델을 직접 훈련하거나 내려받아 돌려보려는 사람에게 기준이 되는 코드 베이스예요.

출처: huggingface/smollm

저장소가 제공하는 것

• 사전훈련(pre-training): SmolLM-Corpus로 모델을 처음부터 훈련하는 코드
• 포스트훈련(post-training): SFT·DPO 정렬 코드
• 평가(evaluation): 벤치마크 실행 코드
• 로컬 추론(local inference): 내려받은 모델을 로컬에서 쓰는 코드

트레이닝 데이터

SmolLM2 모델 카드에서 밝히듯 훈련은 11T 토큰으로, FineWeb-Edu·DCLM·The Stack과 새 수학·코딩 데이터셋을 조합해 진행됐어요. SFT 데이터셋(HuggingFaceTB/smoltalk)과 관련 자료도 공개돼 있어요.

생태계

SmolLM은 허깅페이스 테크 블로그(Transformer Lab, Hugging Face TB)가 만든 시리즈로, Gradio·TRL·transformers·transformers.js 등 허깅페이스 도구들과 자연스럽게 이어져요.

더 알아보기

• huggingface/smollm 저장소
• SmolLM 블로그