Accelerate 설치와 설정 — pip·conda·config

Accelerate 설치와 설정 — pip·conda·config

Accelerate는 파이썬 패키지로 설치하고, 훈련 전에 현재 시스템이 어떻게 구성돼 있는지 한 번 설정해 두는 방식으로 흘러가요. Accelerate는 Python 3.8+ 에서 테스트됩니다.

출처: https://huggingface.co/docs/accelerate/basic_tutorials/install

설치

pip, conda, GitHub 소스 세 경로로 설치할 수 있어요.

# pip
pip install accelerate

# conda
conda install -c conda-forge accelerate

# GitHub 소스(아직 릴리스되지 않은 최신 기능)
pip install git+https://github.com/huggingface/accelerate

기여를 하거나 소스 코드를 직접 만져보고 싶다면 로컬 클론을 편집 가능 모드로 설치하면 됩니다.

git clone https://github.com/huggingface/accelerate
cd accelerate
pip install -e .

설정하기

설치 후엔 현재 시스템이 훈련에 어떻게 구성돼 있는지 Accelerate에 알려줘야 해요. 터미널에서 다음을 실행하고 질문에 응답하면 됩니다.

accelerate config

DeepSpeed 설정이나 TPU 실행 같은 옵션을 빼고 최소한의 설정만 빠르게 쓰고 싶다면 이렇게 기본 설정을 작성할 수 있어요. fp16 혼합 정밀도를 켠다는 뜻입니다.

python -c "from accelerate.utils import write_basic_config; write_basic_config(mixed_precision='fp16')"

Accelerate는 가용한 최대 GPU 수를 자동 사용하고 혼합 정밀도 모드를 설정해요. 설정이 제대로 됐는지 확인하려면 다음을 실행하세요.

accelerate env

예시 출력은 두 개 GPU 단일 머신에 혼합 정밀도가 없는 구성을 보여줍니다. distributed_type: MULTI_GPU, num_processes: 2, machine_rank: 0, gpu_ids: all 같은 값들이 들어가 있어 현재 환경을 한눈에 확인할 수 있어요.

더 알아보기