Colossal-AI — 대규모 신경망을 위한 분산 훈련 프레임워크
Colossal-AI
모델이 커질수록 한 GPU로는 훈련이 안 돼서, 텐서·파이프라인·데이터 병렬을 조합하고 메모리까지 관리해야 해요. Colossal-AI는 대규모 신경망의 런타임 성능을 극대화하는 분산 훈련 프레임워크예요. 하이브리드 병렬(HybridParallel), Gemini(GeminiPlugin), ZeRO(저수준 제로), FSDP 같은 플러그인을 제시하고, colossalai.booster로 모델·옵티마이저·데이터로더에 기능을 주입해요. 이전의 colossalai.initialize를 대체하는 새 API 설계예요. 공개 요구사항은 PyTorch >= 2.1, Python >= 3.7, CUDA >= 11.0이에요.
이 카테고리의 문서
- 개요: Colossal-AI의 분산 기법과 시작
- 설치: pip·소스 설치와 요구사항
- Booster API: 플러그인·훈련 루프·체크포인트