Gradient Checkpointing — 메모리를 계산으로 사다
Gradient Checkpointing
큰 모델을 훈련할 때 GPU 메모리에서 순전파 중간 활성화가 차지하는 비중이 커요. Gradient Checkpointing(그래디언트 체크포인팅) 은 모든 활성화를 저장하는 대신 일부만 남기고, 역전파에서 필요한 만큼 다시 계산해 메모리를 아끼는 기법이에요. '메모리를 계산으로 사는' 트레이드오프죠.
이 카테고리의 문서
- 개요: torch.utils.checkpoint — 활성화 메모리를 줄이는 기법
- 핵심 기능: 트레이너에서 켜기 — gradient_checkpointing과 메모리
- 실전·API: DeepSpeed 활성화 체크포인팅