PyTorch Lightning — 그래디언트 클리핑 설정
PyTorch Lightning — 그래디언트 클리핑 설정
PyTorch Lightning은 Trainer의 gradient_clip_val과 gradient_clip_algorithm 인자만으로 그래디언트 클리핑을 선언적으로 켤 수 있어요. 학습 루프를 일일이 바꾸지 않아도 되어 관리가 편해요.
설정 방법
Trainer(gradient_clip_val=0.5,
gradient_clip_algorithm="norm") # "norm" | "value"
"norm":clip_grad_norm_과 같은 전역 노름 클리핑."value":clip_grad_value_와 같은 값 단위 클리핑.gradient_clip_val=0이면 비활성화예요.
실전 팁
- 클리핑은 옵티마이저 스텝 바로 직전에 자동으로 적용돼요.
- 모델·데이터에 맞는 값을 찾으려면
max_norm을 몇 후보로 두고 검증 손실을 비교해 보세요.