TensorFlow Keras 전이 학습 가이드 — 레시피
TensorFlow Keras 전이 학습 가이드 — 레시피
TensorFlow 공식 Keras 전이 학습 가이드는 어떤 상황에 어떤 전략을 쓸지 정리한 종합 레시피예요.
언제 무엇을
- 데이터가 작고 사전 학습 모델이 비슷한 도메인이면: 가중치를 고정한 특징 추출이 오버피팅을 덜 일으킨다.
- 데이터가 크고 사전 학습이 다른 도메인이면: (+ 낮은 학습률) 파인튜닝이 더 좋다.
- 두 경우 모두 ImageNet 같은 대규모 사전 학습이 출발점이다.
핵심 개념
- 전이 학습: 사전 학습 가중치를 재사용해 새로운 문제에서 빠르게 수렴.
- 특징 추출: 사전 학습 레이어 고정 후 새 분류기만 학습.
- 파인튜닝: 고정 해제 후 전체(또는 상위 계층)를 낮은 학습률로 재학습.
좋은 설정 예
- 베이스 모델
trainable=False로 특징 추출 후, 새 Dense 헤드와GlobalAveragePooling2D를 붙인다. - 초기에는 베이스 고정으로 학습, 이후 전체 파인튜닝 시 베이스 학습률을 분류기보다 훨씬 낮게 잡아 사전 지식을 보존한다.