Keras Adam — 가장 널리 쓰는 적응형 옵티마이저
Keras Adam — 가장 널리 쓰는 적응형 옵티마이저
keras.optimizers.Adam 은 Adam(Adaptive Moment Estimation) 알고리즘을 구현한 옵티마이저예요. 1차 모멘트(그레디언트 평균)와 2차 모멘트(그레디언트 제곱 평균)를 지수이동평균으로 추정하고, 이를 이용해 파라미터별로 학습률을 조정해요.
파라미터
learning_rate: 기본 스텝 크기(보통 1e-3).beta_1/beta_2: 1차·2차 모멘트의 지수 감쇠율(기본 0.9 / 0.999).epsilon: 분모 안정화 상수(기본 1e-7).amsgrad: 그레디언트 진폭을 모니터링해 더 안정적으로 만드는 변형 사용 여부.
opt = keras.optimizers.Adam(learning_rate=1e-3, beta_1=0.9, beta_2=0.999)
사용 팁
- 대부분의 딥러닝 문제에서 좋은 기본 선택이에요.
- 초기 단계는
1e-3에서 시작해 성능이 안 나오면1e-4~3e-4로 내려보세요.