Gradient Clipping — 폭주하는 그래디언트를 잘라내기

Gradient Clipping (그래디언트 클리핑)

학습 중 그래디언트가 너무 커져 가중치가 폭주(exploding) 하는 것을 막기 위해, 그래디언트의 크기를 일정 한도로 잘라내는(clip) 기법을 Gradient Clipping(그래디언트 클리핑) 이라고 해요. RNN·언어모델 학습에서 안정성을 높이는 표준 장치예요.

이 카테고리의 문서

• 개요: torch.nn.utils.clip_grad_norm_ — 노름 기준 클리핑
• 핵심 기능: torch.nn.utils.clip_grad_value_ — 값 기준 클리핑
• 실전·API: PyTorch Lightning — 그래디언트 클리핑 설정

출처: https://pytorch.org/docs/stable/generated/torch.nn.utils.clip_grad_norm_.html