TF Model Optimization — 크기 기반 가지치기 개요
TF Model Optimization — 크기 기반 가지치기 개요
크기(magnitude) 기반 가중치 가지치기는 훈련 중에 중요한 가중치를 약간씩 0으로 만들어 모델 희소성을 얻는 기법이에요. 희소 모델은 압축이 쉬워지고, 추론 시 0을 건너뛰면 지연이 줄어들어요.
이점
- 모델 압축: 정확도 손실을 최소화하면서도 눈에 띄는 압축률(최대 6배까지 보고됨)을 얻어요.
- 추론 속도: 프레임워크 레벨에서 희소 연산 지원이 더해지면 지연 개선이 기대돼요.
지원 범위
Keras의 Sequential·Functional 모델을 중심으로 TF 1.14+ / TF 2.x 에서 쓸 수 있어요. 그래프·즉시 실행 모두 지원하고, 분산 학습은 그래프 실행에서만 지원돼요.
결과 예시
InceptionV3 같은 모델에서 비희소 대비 소수 퍼센트의 정확도 하락으로 50~87.5% 희소성을 얻는 사례가 문서에 실려 있어요. 번역 모델(GNMT)도 80% 이상 희소성에서 BLEU가 거의 유지됐어요.