SpQR
SpQR
SpQR 양자화 알고리즘은 희소 이상값(sparse outliers)을 가진 16x16 타일 이중 레벨 그룹 3비트 양자화 구조를 포함합니다.
출처: 문서
본문
SpQR 양자화 알고리즘은 희소 이상값(sparse outliers)을 가진 16x16 타일 이중 레벨 그룹 3비트 양자화 구조를 포함합니다.
[!TIP] SpQR로 모델을 양자화하려면 Vahe1994/SpQR 저장소를 참고하세요.
SpQR 양자화 모델은 from_pretrained()로 로드하세요.
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
quantized_model = AutoModelForCausalLM.from_pretrained(
"elvircrn/Llama-2-7b-SPQR-3Bit-16x16-red_pajama-hf",
dtype=torch.half,
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("elvircrn/Llama-2-7b-SPQR-3Bit-16x16-red_pajama-hf")