Data Parallelism — 같은 모델을 여러 데이터 조각으로 병렬 학습

Data Parallelism

하나의 모델을 여러 GPU에 복제하고, 훈련 데이터를 조각내어 각 GPU가 다른 배치를 처리하게 하는 가장 기본적인 분산 학습 방법이에요. Data Parallelism(데이터 병렬) 은 각 복제본이 계산한 그래디언트를 합쳐 가중치를 갱신해요. PyTorch DDP와 DeepSpeed ZeRO가 대표적이에요.

이 카테고리의 문서

• 개요: PyTorch DDP — 분산 데이터 병렬(Distributed Data Parallel)
• 핵심 기능: torch.distributed — 분산 통신 패키지
• 실전·API: DeepSpeed ZeRO — 데이터·모델 병렬의 3D 결합

출처: https://pytorch.org/tutorials/intermediate/ddp_tutorial.html