모델 내보내기 (Exporters) — PyTorch 모델을 다른 포맷으로
모델 내보내기 (Exporters) — PyTorch 모델을 다른 포맷으로
같은 모델이라도 어느 런타임에서 돌리느냐에 따라 최적화 방식이 달라져요. Optimum의 exporters 모듈은 PyTorch 모델을 여러 포맷으로 내보내기(export) 해서 각 하드웨어 최적화 런타임에서 쓸 수 있게 도와줘요. 지금은 ONNX(optimum-onnx), OpenVINO(optimum-intel), Neuron(optimum-neuron) 세 가지 포맷을 지원해요.
어떤 포맷으로 내보내나요
내보내기 모듈은 PyTorch(PyTorch), 그리고 해당 런타임별 최적화 패키지와 함께 동작해요.
- ONNX — ONNX Runtime에서 가속 추론하고 양자화하기 위한 포맷.
optimum-onnx패키지가 담당해요. - OpenVINO — Intel 하드웨어 위에서 추론 가속을 위한 포맷.
optimum-intel패키지가 담당해요. - Neuron — AWS Trainium/Inferentia 같은 Neuron 하드웨어를 위한 포맷.
optimum-neuron패키지가 담당해요.
모델을 내보낸 뒤에는 각 런타임의 양자화·그래프 최적화 도구를 적용해서 추론 성능을 끌어올리는 흐름이에요. 어떤 포맷을 선택하느냐는 결국 어느 하드웨어에서 서빙할지에 달려 있어요.