FairScale — 대규모 학습을 위한 PyTorch 확장 라이브러리

FairScale

모델이 커질수록 데이터 병렬 처리만으로는 부족해져요. 메모리를 나누고(셔딩), 병렬화 축을 늘리면서 학습하는 기법을 조합 가능한 API로 제공하는 PyTorch 확장 라이브러리가 FairScale 이에요. 개요와 사용자 워크플로를 아래에서 살펴볼 수 있어요.

출처: https://fairscale.readthedocs.io/en/latest/