INT4 W4A16 양자화

INT4 W4A16 양자화 (INT4 W4A16)

웨이트를 4비트 정수(INT4)로 줄이는 양자화는 모델 크기를 크게 줄이면서, QPS(초당 쿼리)가 낮은 워크로드에서 지연 시간을 유지하는 데 특히 유용해요. 이 페이지에서는 vLLM에서 INT4 W4A16 모델을 만들고 평가하는 과정을 살펴볼게요.

출처: vLLM 공식 문서 — INT4 W4A16

개요 (Overview)

INT4 양자화는 웨이트를 4비트로 양자화해 메모리 절약과 추론 가속을 제공해요. vLLM에서 바로 쓸 수 있는 인기 LLM의 INT4 체크포인트 컬렉션이 HuggingFace에 올라와 있으니 참고하세요.

참고: INT4 연산은 NVIDIA compute capability > 8.0(Ampere, Ada Lovelace, Hopper, Blackwell) GPU에서 지원돼요.

전제 조건 (Prerequisites)

INT4 양자화를 쓰려면 llm-compressor 라이브러리를 설치해야 해요.

(venv-llm-compressor) pip install llmcompressor

평가를 위해 vllm과 lm-evaluation-harness도 설치해요.

(venv-vllm) pip install vllm "lm-eval[api]>=0.4.12"

참고: vLLM과 llm-compressor는 별도 환경에서 쓰세요.

양자화 과정 (Quantization process)

양자화 과정은 네 단계로 이뤄져요: 모델 로딩, 캘리브레이션 데이터 준비, 양자화 적용, vLLM에서 정확도 평가.

1. 모델 로딩 (Loading the model)

from transformers import AutoTokenizer, AutoModelForCausalLM

MODEL_ID = "meta-llama/Meta-Llama-3-8B-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    MODEL_ID,
    device_map="auto",
    dtype="auto",
)
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)

2. 캘리브레이션 데이터 준비 (Preparing calibration data)

웨이트를 INT4로 양자화할 때는 웨이트 업데이트와 캘리브레이션 스케일을 추정할 샘플 데이터가 필요해요. 배포 데이터와 최대한 비슷한 데이터를 쓰는 게 좋아요. 범용 인스트럭션 튜닝 모델이라면 ultrachat 같은 데이터셋을 쓸 수 있어요.

from datasets import load_dataset

NUM_CALIBRATION_SAMPLES = 512
MAX_SEQUENCE_LENGTH = 2048

# 데이터셋 로딩 및 전처리
ds = load_dataset("HuggingFaceH4/ultrachat_200k", split="train_sft")
ds = ds.shuffle(seed=42).select(range(NUM_CALIBRATION_SAMPLES))

def preprocess(example):
    return {"text": tokenizer.apply_chat_template(example["messages"], tokenize=False)}

ds = ds.map(preprocess)

def tokenize(sample):
    return tokenizer(sample["text"], padding=False, max_length=MAX_SEQUENCE_LENGTH, truncation=True, add_special_tokens=False)

ds = ds.map(tokenize, remove_columns=ds.column_names)

3. 양자화 적용 (Applying quantization)

from llmcompressor import oneshot
from llmcompressor.modifiers.quantization import GPTQModifier
from llmcompressor.modifiers.smoothquant import SmoothQuantModifier

# 양자화 알고리즘 구성
recipe = GPTQModifier(targets="Linear", scheme="W4A16", ignore=["lm_head"])

# 양자화 적용
oneshot(
    model=model,
    dataset=ds,
    recipe=recipe,
    max_seq_length=MAX_SEQUENCE_LENGTH,
    num_calibration_samples=NUM_CALIBRATION_SAMPLES,
)

# 압축 모델 저장: Meta-Llama-3-8B-Instruct-W4A16-G128
SAVE_DIR = MODEL_ID.split("/")[1] + "-W4A16-G128"
model.save_pretrained(SAVE_DIR, save_compressed=True)
tokenizer.save_pretrained(SAVE_DIR)

이 과정은 웨이트가 4비트 정수로 양자화된 W4A16 모델을 만들어요.

4. 정확도 평가 (Evaluating accuracy)

양자화 후 vLLM에서 모델을 로딩해 실행해요.

from vllm import LLM

llm = LLM("./Meta-Llama-3-8B-Instruct-W4A16-G128")

정확도 평가는 lm_eval로 할 수 있어요.

lm_eval --model vllm \
    --model_args pretrained="./Meta-Llama-3-8B-Instruct-W4A16-G128",add_bos_token=true \
    --tasks gsm8k \
    --num_fewshot 5 \
    --limit 250 \
    --batch_size 'auto'

참고: 양자화 모델은 bos 토큰 존재에 민감할 수 있어요. 평가 시 add_bos_token=True 인자를 꼭 넣으세요.

모범 사례 (Best practices)

캘리브레이션 데이터는 512개 샘플로 시작하고, 정확도가 떨어지면 늘려 본다.
캘리브레이션 데이터가 특정 사용 사례에 과적합되지 않도록 다양한 샘플을 포함한다.
시퀀스 길이는 2048을 시작점으로 쓴다.
모델이 훈련된 채팅 템플릿이나 인스트럭션 템플릿을 사용한다.

INT4 W4A16 양자화