INT8 W8A8 양자화

INT8 W8A8 양자화 (INT8 W8A8)

웨이트와 활성화를 모두 8비트 정수(INT8)로 줄이는 양자화는 모델 크기를 줄이면서도 성능을 유지하는 데 유용해요. 이 페이지에서 vLLM으로 INT8 W8A8 모델을 만들고 평가하는 과정을 살펴볼게요.

출처: vLLM 공식 문서 — INT8 W8A8

개요 (Overview)

INT8 양자화는 웨이트와 활성화를 모두 8비트로 양자화해 메모리 절약과 추론 가속을 제공해요. vLLM에서 바로 쓸 수 있는 인기 LLM의 INT8 체크포인트 컬렉션이 HuggingFace에 올라와 있으니 참고하세요.

참고: INT8 연산은 NVIDIA compute capability > 7.5(Turing, Ampere, Ada Lovelace, Hopper) GPU에서 지원돼요.

⚠️ Blackwell GPU 제한: INT8은 compute capability ≥ 10.0(예: RTX 6000 Blackwell)에서 지원되지 않아요. 그런 GPU에서는 FP8 양자화를 쓰거나, Hopper/Ada/Ampere 아키텍처에서 실행하세요.

전제 조건 (Prerequisites)

INT8 양자화를 쓰려면 llm-compressor 라이브러리를 설치해야 해요.

(venv-llm-compressor) pip install llmcompressor

평가를 위해 vllm과 lm-evaluation-harness도 설치해요.

(venv-vllm) pip install vllm "lm-eval[api]>=0.4.12"

참고: vLLM과 llm-compressor는 별도 환경에서 쓰세요.

양자화 과정 (Quantization process)

양자화 과정은 네 단계로 이뤄져요: 모델 로딩, 캘리브레이션 데이터 준비, 양자화 적용, vLLM에서 정확도 평가.

1. 모델 로딩 (Loading the model)

from transformers import AutoTokenizer, AutoModelForCausalLM

MODEL_ID = "meta-llama/Meta-Llama-3-8B-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    MODEL_ID,
    device_map="auto",
    dtype="auto",
)
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)

2. 캘리브레이션 데이터 준비 (Preparing calibration data)

활성화를 INT8로 양자화할 때는 활성화 스케일을 추정할 샘플 데이터가 필요해요. 배포 데이터와 비슷한 데이터를 쓰는 게 좋고, 범용 인스트럭션 튜닝 모델이라면 ultrachat 같은 데이터셋을 쓸 수 있어요.

from datasets import load_dataset

NUM_CALIBRATION_SAMPLES = 512
MAX_SEQUENCE_LENGTH = 2048

# 데이터셋 로딩 및 전처리
ds = load_dataset("HuggingFaceH4/ultrachat_200k", split="train_sft")
ds = ds.shuffle(seed=42).select(range(NUM_CALIBRATION_SAMPLES))

def preprocess(example):
    return {"text": tokenizer.apply_chat_template(example["messages"], tokenize=False)}

ds = ds.map(preprocess)

def tokenize(sample):
    return tokenizer(sample["text"], padding=False, max_length=MAX_SEQUENCE_LENGTH, truncation=True, add_special_tokens=False)

ds = ds.map(tokenize, remove_columns=ds.column_names)

3. 양자화 적용 (Applying quantization)

W8A8에서는 SmoothQuant으로 활성화 이상값(outlier)을 완화한 뒤 GPTQ로 양자화하는 조합을 써요.

from llmcompressor import oneshot
from llmcompressor.modifiers.quantization import GPTQModifier
from llmcompressor.modifiers.smoothquant import SmoothQuantModifier

# 양자화 알고리즘 구성
recipe = [
    SmoothQuantModifier(smoothing_strength=0.8),
    GPTQModifier(targets="Linear", scheme="W8A8", ignore=["lm_head"]),
]

# 양자화 적용
oneshot(
    model=model,
    dataset=ds,
    recipe=recipe,
    max_seq_length=MAX_SEQUENCE_LENGTH,
    num_calibration_samples=NUM_CALIBRATION_SAMPLES,
)

# 압축 모델 저장: Meta-Llama-3-8B-Instruct-W8A8-Dynamic-Per-Token
SAVE_DIR = MODEL_ID.split("/")[1] + "-W8A8-Dynamic-Per-Token"
model.save_pretrained(SAVE_DIR, save_compressed=True)
tokenizer.save_pretrained(SAVE_DIR)

이 과정은 웨이트와 활성화가 모두 8비트 정수로 양자화된 W8A8 모델을 만들어요.

4. 정확도 평가 (Evaluating accuracy)

양자화 후 vLLM에서 모델을 로딩해 실행해요.

from vllm import LLM

llm = LLM("./Meta-Llama-3-8B-Instruct-W8A8-Dynamic-Per-Token")

정확도 평가는 lm_eval로 할 수 있어요.

lm_eval --model vllm \
    --model_args pretrained="./Meta-Llama-3-8B-Instruct-W8A8-Dynamic-Per-Token",add_bos_token=true \
    --tasks gsm8k \
    --num_fewshot 5 \
    --limit 250 \
    --batch_size 'auto'

참고: 양자화 모델은 bos 토큰 존재에 민감할 수 있으니 평가 시 add_bos_token=true를 넣으세요.

모범 사례 (Best practices)

캘리브레이션 데이터는 512개 샘플로 시작하고 정확도가 떨어지면 늘린다.
시퀀스 길이는 2048을 시작점으로 쓴다.
모델이 훈련된 채팅 템플릿이나 인스트럭션 템플릿을 사용한다.

INT8 W8A8 양자화