NVIDIA Megatron-LM — TP·PP·DP·EP·CP 고급 병렬 툴킷
NVIDIA Megatron-LM — TP·PP·DP·EP·CP 고급 병렬 툴킷
Megatron-LM 과 Megatron Core 는 NVIDIA의 대규모 분산 학습 참조 구현이에요. Megatron-LM은 Megatron Core에 사전 설정된 학습 스크립트를 더한 레퍼런스 예제이고, Megatron Core는 고급 병렬 전략(Tensor/파이프라인/Data/Expert/Context 병렬)을 제공하는 빌딩 블록이에요.
핵심 기능
- TP, PP, DP, EP, CP: 텐서 병렬·파이프라인 병렬·데이터 병렬·전문가 병렬·컨텍스트 병렬을 모두 지원해요.
- 혼합 정밀도: FP16, BF16, FP8, FP4 지원.
- 통신 최적화:
--overlap-grad-reduce(DP),--tp-comm-overlap(TP), 파이프라인 기본 오버랩 등으로 통신을 계산과 겹쳐요.
uv pip install megatron-core로 설치하고, 대규모 모델 학습용 커스텀 파이프라인을 만들 때 활용해요.