Keras Optimizers — 옵티마이저 종류와 사용법

Keras Optimizers — 옵티마이저 종류와 사용법

keras.optimizers 는 Keras에서 사용 가능한 옵티마이저의 API 모음이에요. model.compile(optimizer=...) 에 문자열 이름이나 객체를 넘겨 선택해요.

제공 옵티마이저

  • Adam: 1차·2차 모멘트를 적응형으로 조합해 가장 널리 쓰여요.
  • SGD (+모멘텀): 단순하고, 큰 배치에서 안정적이며 파인튜닝에 유용해요.
  • RMSprop: Adagrad의 학습률 소실을 보완한 적응형 옵티마이저.
  • AdamW: 가중치 감쇠(weight decay)를 분리 적용해 Adam보다 일반화가 좋아요.
model.compile(
    optimizer=keras.optimizers.Adam(learning_rate=1e-3),
    loss="sparse_categorical_crossentropy",
    metrics=["accuracy"],
)

사용 팁

  • 학습률 스케줄링(learning_rate 스케줄)과 함께 쓰면 더 안정적이에요.
  • 과적합이 걱정되면 AdamW·가중치 감쇠 옵션을 고려해요.

더 알아보기