xFormers 개요 — 트랜스포머 연구 툴박스

xFormers 개요

트랜스포머 모델을 연구하거나 최적화할 때, PyTorch 기본 연산만으로는 어텐션의 메모리 병목이 걸려 아쉬운 경우가 많아요. xFormers는 바로 그 부분을 채워 주는 Meta AI의 트랜스포머 툴박스예요. PyTorch에는 아직 없는 최첨단 구성 요소를 먼저 제공하면서도, '해킹 가능하고(hackable)' 조립식으로 쓰게 해 주는 것이 핵심이에요.

xFormers는 이래요

커스터마이즈 가능한 빌딩 블록 — 보일러플레이트 없이 독립적으로 조합할 수 있는 도메인 무관 구성 요소. 비전·NLP 등 여러 분야의 연구자가 사용
연구 우선(research first) — PyTorch 같은 주류 라이브러리에 아직 없는 최첨단 구성 요소 포함
효율 중심 — 반복 속도가 중요하니, 구성 요소를 가능한 한 빠르고 메모리 효율적으로 설계

자체 CUDA 커널을 포함하고, 필요할 때는 다른 라이브러리로 디스패치해요.

언제 쓰나요

LLM·비전 모델의 어텐션을 메모리 효율적으로 돌리고 싶을 때
희소 어텐션, block-sparse 어텐션으로 긴 컨텍스트를 다룰 때
퓨즈드 선형 레이어·소프트맥스·레이어노름 같은 커널 최적화가 필요할 때

라이선스

BSD-style 라이선스로 배포되며, triton-lang/kernels 저장소의 코드를 포함해요.