INT8 W4A8 양자화

INT8 W4A8 양자화 (INT8 W4A8)

웨이트는 4비트, 활성화는 8비트로 줄이는 W4A8 양자화는 모델 크기를 줄이면서도 성능을 유지하는 데 유용해요. 특히 Arm® CPU에서는 KleidiAI를 통해 가속되는 방식이죠. 이 페이지에서 vLLM으로 W4A8 모델을 만드는 과정을 살펴볼게요.

출처: vLLM 공식 문서 — INT8 W4A8

전제 조건 (Prerequisites)

INT8 W4A8 양자화를 쓰려면 llm-compressor 라이브러리를 설치해야 해요.

(venv-llm-compressor) pip install llmcompressor

평가를 위해 vllm과 lm-evaluation-harness도 설치해요.

(venv-vllm) pip install vllm "lm-eval[api]>=0.4.12"

참고: vLLM과 llm-compressor는 별도 환경에서 쓰세요.

양자화 과정 (Quantization process)

양자화 과정은 네 단계로 이뤄져요: 모델 로딩, 캘리브레이션 데이터 준비, 양자화 적용, vLLM에서 정확도 평가.

1. 모델 로딩 (Loading the model)

from transformers import AutoTokenizer, AutoModelForCausalLM

MODEL_ID = "meta-llama/Meta-Llama-3-8B-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    MODEL_ID,
    device_map="auto",
    dtype="auto",
)
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)

2. 캘리브레이션 데이터 준비 (Preparing calibration data)

활성화를 INT8, 웨이트를 INT4로 양자화할 때는 활성화 스케일을 추정할 샘플 데이터가 필요해요. 배포 데이터와 비슷한 데이터를 쓰는 게 좋고, 범용 인스트럭션 튜닝 모델이라면 ultrachat 같은 데이터셋을 쓸 수 있어요.

from datasets import load_dataset

NUM_CALIBRATION_SAMPLES = 512
MAX_SEQUENCE_LENGTH = 2048

# 데이터셋 로딩 및 전처리
ds = load_dataset("HuggingFaceH4/ultrachat_200k", split="train_sft")
ds = ds.shuffle(seed=42).select(range(NUM_CALIBRATION_SAMPLES))

def preprocess(example):
    return {"text": tokenizer.apply_chat_template(example["messages"], tokenize=False)}

ds = ds.map(preprocess)

def tokenize(sample):
    return tokenizer(sample["text"], padding=False, max_length=MAX_SEQUENCE_LENGTH, truncation=True, add_special_tokens=False)

ds = ds.map(tokenize, remove_columns=ds.column_names)

3. 양자화 적용 (Applying quantization)

아래 레시피는 W4A8 모델(int4 웨이트, int8 활성화)을 만들어요. groupwise는 최고 정확도, channelwise는 최고 추론 성능을 원할 때 쓰면 돼요.

from llmcompressor import oneshot
from llmcompressor.modifiers.quantization import GPTQModifier

# 양자화 알고리즘 구성
recipe = [
    GPTQModifier(
        targets="Linear",
        scheme="W4A8",
        ignore=["lm_head"],
        dampening_frac=0.01
    ),
]

# 양자화 적용
oneshot(
    model=model,
    dataset=ds,
    recipe=recipe,
    max_seq_length=MAX_SEQUENCE_LENGTH,
    num_calibration_samples=NUM_CALIBRATION_SAMPLES,
)

# 압축 모델 저장: Meta-Llama-3-8B-Instruct-W4A8-G128-Dynamic-Per-Token
SAVE_DIR = MODEL_ID.split("/")[1] + "-W4A8-G128-Dynamic-Per-Token"
model.save_pretrained(SAVE_DIR, save_compressed=True)
tokenizer.save_pretrained(SAVE_DIR)

4. 정확도 평가 (Evaluating accuracy)

양자화 후 vLLM에서 모델을 로딩해 실행해요.

from vllm import LLM

llm = LLM("./Meta-Llama-3-8B-Instruct-W4A8-G128-Dynamic-Per-Token")

정확도 평가는 lm_eval로 할 수 있어요.

lm_eval --model vllm \
    --model_args pretrained="./Meta-Llama-3-8B-Instruct-W4A8-G128-Dynamic-Per-Token",add_bos_token=true \
    --tasks gsm8k \
    --num_fewshot 5 \
    --limit 250 \
    --batch_size 'auto'

참고: 양자화 모델은 bos 토큰 존재에 민감할 수 있으니 평가 시 add_bos_token=true를 넣으세요.

모범 사례 (Best practices)

캘리브레이션 데이터는 512개 샘플로 시작하고 정확도가 떨어지면 늘린다.
시퀀스 길이는 2048을 시작점으로 쓴다.
모델이 훈련된 채팅 템플릿이나 인스트럭션 템플릿을 사용한다.
파인튜닝한 모델이라면 훈련 데이터 샘플을 캘리브레이션에 쓰는 것도 고려한다.

INT8 W4A8 양자화