Megatron-Core — 대규모 트랜스포머 학습을 위한 NVIDIA GPU 라이브러리

Megatron-Core

수십억~수조 파라미터의 트랜스포머를 분산 GPU 클러스터에서 훈련하려면 병렬 처리 전략이 필수예요. Megatron-Core 는 NVIDIA가 GPU 최적화 기법을 모듈·조합 가능한 API로 묶어 제공하는 라이브러리예요. 개요와 사용자 가이드를 아래에서 확인해 보세요.

출처: https://docs.nvidia.com/megatron-core/

더 알아보기