Megatron-LM — 오픈소스 레퍼런스 구현

오늘날 거대 모델의 훈련 기법을 연구하다 보면 거의 반드시 만나게 되는 이름이 Megatron-LM 이에요. NVIDIA가 공개한 오픈소스 프로젝트로, Megatron-Core 구성요소를 사용해 실제로 거대한 모델을 훈련하는 방법을 보여주는 레퍼런스예요.

출처: https://github.com/NVIDIA/Megatron-LM

이 저장소는 Megatron-Core의 레퍼런스 구현(GPT, LLaMA 등) 과 함께 파이프라인·텐서·데이터 병렬, 시퀀스 병렬, 분산 옵티마이저 같은 핵심 기법의 실제 사용 예를 담고 있어요. 연구자들이 어떻게 수조 파라미터를 넘기는지를 실제 코드로 확인할 수 있는 곳이에요.

저장소에서 볼 수 있는 주요 내용:

전문가 혼합(MoE), 윈도우 어텐션, 스파스/밀집 트랜스포머 모델 구현.
텐서·파이프라인·데이터 병렬을 결합한 3D 병렬 처리 방식.
FP16/BF16/FP8 훈련과 활성화 체크포인팅 같은 메모리 기법.
프리트레이닝과 파인튜닝 진입점.

직접 라이선스와 설치·실행 요건은 저장소의 README와 라이선스 파일을 확인해야 해요. NVIDIA GPU 환경(아피어리티·CUDA)이 갖춰져 있어야 온전히 동작해요.