OpenVINO 개요
OpenVINO 개요
OpenVINO는 모델을 학습하는 도구가 아니라, 학습이 끝난 모델을 배포·추론에 최적화하는 도구예요. TensorFlow, PyTorch, ONNX 등 친숙한 프레임워크에서 만든 모델을 인텔 하드웨어에 맞게 변환하고 가속해서 쓰는 게 핵심이에요.
OpenVINO는 인텔® 유통의 OpenVINO™ 툴킷으로, 클라우드·온프레미스·엣지 어디서든 성능 있는 AI 솔루션을 배포하기 위한 오픈소스 툴킷이에요. 생성형 AI와 전통적인 AI 모델을 모두 다루고, 가장 널리 쓰이는 모델 프레임워크에서 나온 모델을 변환·최적화·실행해서 인텔 하드웨어의 잠재력을 최대한 활용할 수 있게 해 줘요.
배포 요구에 따라 크게 세 가지 도구를 고를 수 있어요.
- OpenVINO GenAI — 생성형 AI 모델을 실행·배포
- OpenVINO Base Package — 전통적인 컨벤션널 AI 모델을 실행·배포
- OpenVINO Model Server — 서버에서 생성형·전통적 AI 추론을 모두 배포
프레임워크 호환성도 좋아요. TensorFlow, ONNX, PaddlePaddle 모델은 바로 불러올 수 있고, 필요하면 OpenVINO 고유 포맷(IR)으로 변환해서 저장할 수 있죠.
런타임은 가볍게 설계돼 있어 외부 의존성이 적어요. 한 번 애플리케이션을 작성하면 어디든 배포할 수 있고, 자동 디바이스 발견으로 최고의 하드웨어 성능을 얻을 수 있어요. Python, C++, C API가 모두 제공되고 Linux·Windows·macOS를 지원해요. 짧은 시작 시간이 필요한 앱에서는 CPU로 초기 추론을 수행하다가 모델이 컴파일·로드되면 다른 디바이스로 전환하고, 컴파일 모델을 캐시해 시작 시간을 더 줄여줘요.