Gradient Accumulation — 메모리가 작아도 큰 배치 효과를

Gradient Accumulation (그래디언트 누적)

GPU 메모리가 부족해 한 번에 큰 배치를 못 넣을 때, 여러 미니배치의 그래디언트를 모아뒀다가 한 번에 갱신하는 기법을 Gradient Accumulation(그래디언트 누적) 이라고 해요. 배치 사이즈를 키운 효과를 내면서 메모리는 아끼는 대표적인 학습 트릭이에요.

이 카테고리의 문서

• 개요: HuggingFace GPU 단일 카드 최적화 — 그래디언트 누적
• 핵심 기능: HuggingFace 멀티 GPU 학습 — 누적 배치
• 실전·API: PyTorch — 옵티마이저 스텝과 그래디언트 누적

출처: https://huggingface.co/docs/transformers/en/perf_train_gpu_one