Optimum (Hugging Face 모델 최적화 도구)
Optimum (Hugging Face 모델 최적화 도구)
Optimum은 Hugging Face의 Transformer 모델 최적화·가속 도구 모음이에요. 같은 구조의 transformers 모델을 ONNX Runtime, OpenVINO, Intel 툴킷 같은 다양한 하드웨어 최적화 런타임 위에서 돌릴 수 있게 해 주는 라이브러리죠. 모델 줄이는 양자화와 추론 속도를 올리는 가속화를 문서·코드 단위로 다루는 카테고리예요.
이 카테고리의 문서
- 양자화(Quantization): 모델 크기를 줄여 메모리를 아끼고 추론을 빠르게
- ONNX Runtime: exporters로 모델을 ONNX로 변환하고 ORT로 가속 추론
- 추론 가속(Inference): 하드웨어별 최적화 런타임과 대형 모델 최적화 기법