W4A16 양자화 — 4비트 가중치로 빠르게
W4A16 양자화 — 4비트 가중치로 빠르게
양자화는 모델을 가벼우면서도 빠르게 만드는 주요 수단이에요. LMDeploy가 지원하는 W4A16은 가중치(weight)는 4비트, 활성화(activation)는 16비트로 유지하는 방식이에요. 텐서 연산이 가벼워져 4비트 추론 성능이 FP16보다 크게 올라가요.
출처: https://lmdeploy.readthedocs.io/en/latest/quantization/w4a16.html
W4A16의 장점을 먼저 짚으면, 가중치만 4비트로 줄이므로 모델 파일 크기와 추론 시 메모리 사용이 줄어요. LMDeploy는 여기에 AWQ(Activation-aware Weight Quantization) 방식의 w4a16 양자화를 지원해서, 양자화를 해도 품질 손실을 최소화하는 데 힘써요.
LMDeploy 문서에서는 W4A16과 KV Cache 양자화, Automatic Prefix Caching을 동시에 사용할 수 있다고 안내해요. 즉 메모리 효율을 위해 여러 최적화를 겹쳐서 쓸 수 있는 셈이죠.
4비트 추론 성능이 FP16보다 2.4배 높다는 수치는 OpenCompass 평가로 품질 확인까지 마친 상태예요. 실제로는 모델과 하드웨어에 따라 다를 수 있으니, 자체 벤치마크로 확인해 보는 걸 권장해요.