Model Distillation — 큰 모델의 지식을 작은 모델로
Model Distillation
큰 모델(teacher)이 내놓은 답을 데이터 삼아 작은 모델(student)을 학습시키는 distillation(증류) 은, 성능은 비슷하게 유지하면서 비용·지연을 크게 줄이는 기법이에요. OpenAI·Hugging Face·AWS Bedrock이 관리형/개방형 파이프라인을 제공해요.
이 카테고리의 문서
- 개요: OpenAI Distillation — API 기반 증류 워크플로
- 핵심 기능: Transformers — 파이썬으로 증류 실습
- 실전·API: AWS Bedrock — 관리형 모델 증류