torchao — PyTorch 네이티브 모델 최적화 라이브러리
torchao
torchao는 PyTorch에서 커스텀 데이터 타입과 최적화를 위한 라이브러리예요. 가중치·그래디언트·옵티마이저·활성화를 양자화(quantize)하거나 희소화(sparsify)해서, 훈련부터 서빙까지 PyTorch 네이티브로 다룰 수 있게 도와줘요. int4 같은 저비트 양자화로 추론을 가속하면서 메모리를 크게 줄이는 것이 대표적인 쓰임새예요.
이 카테고리의 문서
- 소개와 빠른 시작: torchao가 뭐고 어떻게 설치하나요
- 양자화 API:
quantize_와 각 워크플로우 컨피그 - Hugging Face 통합: Transformers·Diffusers로 바로 양자화