HuggingFace Accelerate — PyTorch 분산 학습 가속 라이브러리

Accelerate는 네 줄의 코드만 추가하면 같은 PyTorch 코드를 어떤 분산 구성에서도 돌릴 수 있게 해주는 라이브러리예요. 분산 설정을 처음 만지는 사람도 스케일에서 훈련·추론을 간단하고 효율적으로 시작할 수 있게 만들어 주는 게 핵심이에요.

출처: https://huggingface.co/docs/accelerate/index

torch_xla와 torch.distributed 위에 만들어져서 DeepSpeed(usage_guides/deepspeed)나 완전 샤드 데이터 병렬(FSDP, fully sharded data parallelism)로 전환하고 혼합 정밀도 훈련도 자동 지원해요. 저장소와 예제가 정리돼 있고, accelerate launch CLI로 어느 시스템에서든 코드를 실행할 수 있습니다. 아래 페이지에서 설치부터 실행, 성능 비교까지 흐름을 잡아볼게요.