xFormers — 트랜스포머 최적화 빌딩 블록
xFormers
xFormers는 트랜스포머를 연구하고 최적화하기 위한 Meta AI의 오픈소스 툴박스예요. PyTorch 아직 없는 최첨단 구성 요소를 연구 우선(research-first)으로 제공하고, 가능한 한 빠르고 메모리 효율적으로 동작하도록 설계됐어요. 메모리 효율적인 정확한 어텐션부터 희소 어텐션, 다양한 퓨즈드 연산까지, '해킹 가능하고(hackable)' 조립식으로 쓸 수 있는 빌딩 블록을 제공해요.
이 카테고리의 문서
- 개요: xFormers가 무엇이고 언제 쓰는지
- 핵심 기능: 메모리 효율 어텐션과 퓨즈드 연산
- 실전·API: 설치와 Transformers 통합