xFormers 실전 — 설치와 Transformers·Diffusers 통합
xFormers 실전
xFormers를 실제 환경에 붙이는 방법을 볼게요. pip 설치부터 Transformers·Diffusers 같은 라이브러리와의 통합까지가 실전의 핵심이에요.
설치 (최신 안정판, pytorch 2.10.0 필요)
PyTorch가 먼저 설치돼 있어야 해요. CUDA 버전에 맞춰 인덱스 URL을 골라 설치하면 돼요.
# [linux & win] cuda 12.6 version
pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu126
# [linux & win] cuda 12.8 version
pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu128
# [linux & win] cuda 13.0 version
pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu130
# [linux only] (EXPERIMENTAL) rocm 7.1 version
pip3 install -U xformers --index-url https://download.pytorch.org/whl/rocm7.1
다른 PyTorch 버전을 쓴다면 소스에서 설치해요.
pip install ninja
pip install -v --no-build-isolation -U git+https://github.com/facebookresearch/xformers.git@main#egg=xformers
소스 빌드가 OOM이 나면 MAX_JOBS=2처럼 ninja 병렬도를 줄일 수 있어요.
Diffusers·Transformers 통합
Hugging Face는 추론과 훈련 모두에 xFormers를 권장해요. 어텐션 블록 최적화로 더 빠른 속도와 줄어든 메모리 소비를 얻을 수 있어요.
pip install xformers
xFormers pip 패키지는 최신 PyTorch를 요구해요. 이전 PyTorch를 써야 한다면 소스에서 설치하세요.
통합 환경에서는 enable_xformers_memory_efficient_attention()을 호출해 더 빠른 추론과 메모리 절감을 켤 수 있어요.