TF 프루닝 종합 가이드 — prune_low_magnitude API
TF 프루닝 종합 가이드 — prune_low_magnitude API
TensorFlow Model Optimization의 프루닝 종합 가이드는 Keras 가중치 가지치기의 다양한 사용 사례와 API 사용법을 다뤄요. tfmot.sparsity.keras.prune_low_magnitude 가 핵심 API예요.
전체 모델 가지치기
모델 후보를 정의하고 prune_low_magnitude 로 감싸면 훈련 중 가지치기가 함께 일어나요.
model_for_pruning = tfmot.sparsity.keras.prune_low_magnitude(base_model)
정확도를 높이려면 처음부터 훈련하기보다 핵심 계층을 피해 '선별적으로' 가지치고, 가지치기와 함께 파인튜닝하는 게 권장돼요.
선택적 가지치기
prune_low_magnitude 를 특정 계층(예: Dense)에만 감싸면 그 계층만 가지치기돼요. 어텐션 같은 중요한 계층을 피하고 뒤쪽 계층부터 제거하는 게 정확도 손실을 줄이는 팁이에요.
훈련·배포
UpdatePruningStep 콜백이 훈련 중 가지치기 스텝을 갱신해요. 완료 후에는 가지치기 완료 모델을 배포해 압축 이점을 얻을 수 있어요.