Distributed Training — 여러 GPU로 모델 키우기

Distributed Training

모델이 한 GPU에 안 들어가는 순간부터 '분산 학습'이 시작돼요. Distributed Training 은 여러 GPU·여러 노드에 모델과 데이터를 나눠 훈련하는 기법의 총칭이에요. PyTorch는 DDP·FSDP·텐서 병렬·파이프라인 병렬을 한 통로(torch.distributed)로 제공해요.

이 카테고리의 문서

• 개요: PyTorch Distributed 개요 — DDP·FSDP·TP·PP
• 핵심 기능: DDP — 데이터 병렬 학습의 축
• 실전·API: DDP 튜토리얼 — torchrun으로 다중 프로세스 학습

출처: https://docs.pytorch.org/tutorials/beginner/dist_overview.html