EXL2 양자화 — 2~8bit 혼합 양자화 포맷
EXL2 양자화
ExLlamaV2는 v1이 지원하던 4-bit GPTQ 모델에 더해 EXL2라는 새 양자화 포맷을 지원해요. EXL2는 GPTQ와 같은 최적화 기반이지만, 2 / 3 / 4 / 5 / 6 / 8-bit 가중치를 모델 안에서 섞어 쓸 수 있다는 점이 특징이에요. 덕분에 가중치당 2bit에서 8bit 사이의 어떤 평균 bitrate로도 모델을 맞출 수 있어요.
왜 혼합 양자화인가요
모든 레이어를 같은 bit 수로 자르면 전체적으로는 비효율적이에요. 어떤 층은 bit 수가 부족해 성능이 떨어지고, 어떤 층은 bit가 남을 수 있죠. EXL2는 레이어마다 적절한 bit 수를 골라 배치해서 같은 평균 bitrate에서 품질을 최대한 보존해요. 2.5bpw, 3.0bpw, 4.0bpw 같은 표현이 바로 이 평균 bit-per-weight를 뜻해요.
변환하기
양자화 스크립트가 제공되는데, 큰 모델 변환은 꽤 느릴 수 있어요. 옵션은 convert 문서에서 자세히 볼 수 있어요. 변환 후에는 eval 문서의 평가 스크립트로 품질을 확인하는 흐름이 자연스러워요.
EXL2 준비 모델
Hugging Face에서는 turboderp 계정에 몇 개의 EXL2 모델이, LoneStriker와 bartowski 계정에는 대량의 EXL2 모델이 올라와 있어요. 바로 실험해 보기 좋아요.