DistilBERT — 증류로 만든 가볍고 빠른 BERT

DistilBERT

BERT는 강력하지만 무겁고 느려요. 그래서 DistilBERT는 **지식 증류(knowledge distillation)**로 BERT를 반으로 줄이면서도 언어 이해 능력을 거의 그대로 유지한 모델이에요. 크기는 40% 줄면서도 성능의 97%를 유지하고 추론은 60% 빨라져서, 리소스가 부족한 환경과 엣지 디바이스에서 특히 유용해요. Hugging Face가 2019년 발표하고 오픈소스로 공개했어요.

이 카테고리의 문서

• 소개: DistilBERT가 왜 만들어졌고 어떻게 가벼워졌는지
• 아키텍처: 사양과 핵심 설정값
• 실전: 파이프라인·파인튜닝으로 바로 쓰기

출처: https://huggingface.co/distilbert/distilbert-base-uncased