Weight Initialization — 가중치를 어떻게 시작할까
Weight Initialization (가중치 초기화)
신경망을 훈련하기 전에 가중치(weight)를 어떤 값으로 시작할지 정하는 것이 Weight Initialization(가중치 초기화) 예요. 초기값이 너무 작거나 크면 그래디언트가 소멸하거나 폭주해서 학습이 제대로 안 돼요. 그래서 Xavier/He 같은 잘 알려진 초기화 전략을 써요.
이 카테고리의 문서
- 개요: PyTorch nn.init — 가중치 초기화 함수 모음
- 핵심 기능: Keras Initializers API — 초기화 전략 정의
- 실전·API: TensorFlow Keras Initializers — 초기화기 사용