OpenVINO GenAI
OpenVINO GenAI
OpenVINO는 인텔이 만든 오픈소스 추론 런타임으로, 학습된 AI 모델을 CPU·GPU·NPU 등 다양한 하드웨어에서 효율적으로 실행하게 해줘요. 그중 OpenVINO GenAI는 생성형 AI(LLM·VLM·ASR·TTS 등)를 전용 파이프라인과 가벼운 C++/Python API로 손쉽게 서빙하도록 만든 패키지예요. 하드웨어 성능을 최대한 끌어내면서도, 모델을 로드하고 프롬프트를 넣고 출력을 받는 일을 몇 줄로 줄여주죠.
이 카테고리의 문서
- 시작하기: OpenVINO GenAI 설치, LLM 파이프라인, 이미지·비전 생성
- 추론 파이프라인: LLMPipeline·VLMPipeline 등 파이프라인별 사용법
- API 레퍼런스: Python/C++ GenAI API 파라미터 상세
- 성능 최적화: 캐시·스트리밍·하드웨어 매핑