Learning Rate Scheduling — 학습률을 단계별로 설계하다
Learning Rate Scheduling
한 고정 학습률로 전체 훈련을 돌리면 수렴이 불안정하거나 늦을 수 있어요. Learning Rate Scheduling(학습률 스케줄링) 은 훈련 진행에 따라 학습률을 조절해 수렴 속도와 최종 성능을 개선하는 기법이에요. 스텝(Step) 감쇠, 지수 감쇠, 코사인, 워밍업 등 다양한 스케줄이 있어요.
이 카테고리의 문서
- 개요: PyTorch optim — 옵티마이저와 학습률 스케줄러
- 핵심 기능: Keras 학습률 스케줄 API — 스케줄러 정의
- 실전·API: Keras 학습률 스케줄 콜백 — 훈련 중 변경