quantize_qat API — 훈련으로 양자화된 모델 만들기
quantize_qat API — 훈련으로 양자화된 모델 만들기
torch.ao.quantization.quantize_qat 는 양자화 인식 훈련을 수행하고 양자화된 모델을 출력하는 API예요.
시그니처
torch.ao.quantization.quantize_qat(model, run_fn, run_args, inplace=False)
- model: 입력 모델.
- run_fn: 준비된 모델을 평가·훈련하는 함수(훈련 루프 하나를 그냥 돌려주는 함수도 가능).
- run_args: run_fn 에 넘길 위치 인자.
- 반환값: 양자화된 모델.
관련 API
prepare_qat: 모델을 양자화 캘리브레이션 또는 QAT를 위해 준비하고 양자화 버전으로 변환.get_default_qat_qconfig_mapping: QAT용 기본 qconfig 매핑.torch.ao.nn.intrinsic.qat: QAT를 위한 퓨전 연산(LinearReLU, ConvBn2d 등).
실제 사용
QAT는 훈련 단계에서 fake quantize로 양자화 수치를 학습시키고, convert 단계에서 int8 연산으로 바꿔요. 최종적으로 배포할 때 int8 가중치와 향상된 정확도를 동시에 얻는 구조예요.