Pipeline Parallelism — 모델을 스테이지로 잘라 순차 처리
Pipeline Parallelism
모델이 커서 하나의 GPU에 다 못 들어갈 때, 레이어를 스테이지(stage) 로 잘라 여러 GPU에 나누고, 마이크로배치를 파이프라인처럼 흘려보내는 방식이 Pipeline Parallelism(파이프라인 병렬) 이에요. DeepSpeed와 PyTorch torch.distributed.pipelining, NVIDIA Megatron이 대표적이에요.
이 카테고리의 문서
- 개요: DeepSpeed — 파이프라인 병렬로 메모리·계산 효율 개선
- 핵심 기능: PyTorch pipelining — GPipe/1F1B 스케줄
- 실전·API: NVIDIA Megatron — TP·PP·DP·EP·CP 고급 병렬