생성형 AI 워크플로우

생성형 AI 워크플로우

생성형 AI는 이미지·소리·자연어 텍스트 입력을 바탕으로 새롭고 "독창적인" 데이터를 만들어내는 딥러닝 모델의 한 영역이에요. 그런데 이 모델들은 크고 복잡해서 배포하고 효율적으로 실행하기가 만만치 않죠. OpenVINO는 이 과정을 단순화하며 고성능 통합을 보장하는 여러 선택지를 제공해요. 어떤 경로를 골라야 할지, 각각의 장단점이 무엇인지 설정해볼게요.

출처: Generative AI workflow — OpenVINO™ documentation

세 가지 배포 선택지

OpenVINO GenAI

  • 지원 유스케이스에 한해 프로덕션 배포에 권장돼요.
  • 풋프린트가 더 작고 의존성이 적어요.
  • 최적화·커스터마이즈 옵션이 더 많아요.
  • Python과 C++를 모두 지원해요.
  • 지원 유스케이스는 제한적이에요.

OpenVINO GenAI 패키지를 설치하면 별다른 설정 없이 생성형 모델을 바로 실행할 수 있어요. 커스텀 API와 토크나이저를 비롯한 구성 요소들이 텍스트 생성 루프, 토크나이제이션, 스케줄링 같은 핵심 작업을 대신 처리해 줘서 쓰기 쉽고 성능도 높죠.

Optimum Intel (Hugging Face 통합)

  • 프로토타이핑, 그리고 OpenVINO GenAI로 커버되지 않는 유스케이스에는 프로덕션에도 추천돼요.
  • 풋프린트가 더 크고 의존성이 많아요.
  • Hugging Face 의존성 때문에 커스터마이즈가 제한적이에요.
  • C++ 애플리케이션에는 못 써요.
  • 지원 모델 범위가 매우 넓어요.

Hugging Face가 제공하는 익숙한 API와 인프라를 그대로 쓰다 보니 다양한 모델·시나리오를 실험하기 좋아요. NNCF로 가중치 압축도 가능하고, 그 자리에서 변환(on the fly)도 할 수 있어요. 다만 최종 제품과 통합할 땐 성능이 다소 낮을 수 있어요.

OpenVINO Model Server

  • 모델을 엣지나 클라우드에 쉽고 빠르게 배포할 수 있어요.
  • 생성형 AI 모델 서빙용 엔드포인트를 포함해요.
  • Python과 C++를 모두 지원해요.
  • REST나 gRPC를 지원하는 어떤 언어의 클라이언트와도 연결돼요.

OpenVINO Model Server는 생성형 유스케이스 전용 REST API 엔드포인트 모음을 제공해요. 텍스트 생성·임베딩·리랭킹을 위한 OpenAI API를 포함하고 있어 앱 작성이 간단해지고 스케일링도 보장되며 최신 성능 최적화가 적용돼요. 컨테이너나 바이너리 애플리케이션 형태로 Linux·Windows에서 CPU·GPU 가속과 함께 배포할 수 있어요.

OpenVINO를 쓰면 좋은 이유

  • 의존성과 풋프린트가 적어요 — Hugging Face·PyTorch 같은 프레임워크보다 컴팩트해서 이진 크기와 메모리 사용량이 작아요. 배포가 쉬워지고 업데이트 관리도 수월해지죠.
  • 압축과 정밀도 관리 — 임베딩 레이어를 포함한 8비트·4비트 가중치 압축과 저장 형식 축소를 지원해요. 압축하지 않은 모델은 fp16, GPTQ 같은 압축 모델은 int8/int4 정밀도를 써요.
  • 추론 역량 강화 — 제자리 KV-cache, 동적 양자화, KV-cache 양자화·캡슐화, 동적 빔 크기 설정, 추측 샘플링 같은 고급 기능을 제공해요.
  • 상태 유지(Stateful) 모델 최적화 — Hugging Face Transformers 모델을 상태 유지 형태로 변환해, 내부적으로 과거 KV-cache 텐서를 더 효율적으로 관리함으로써 장기 텍스트 생성 작업의 추론 성능과 메모리 사용을 최적화해요. 많은 지원 모델에서 자동으로 활성화되고, 지원하지 않는 모델은 상태 없는(stateless) 상태로 남아요.
  • 최적화된 LLM 추론 — 빠른 개발용 Python API와 추가 최적화용 C++ API를 함께 제공해서 Python 기반 런타임보다 나은 성능을 보여줘요.

네이티브 OpenVINO API로도 생성형 AI 모델을 실행할 수는 있지만 권장되진 않아요. 그 방법이 궁금하면 24.6 문서를 참고하면 돼요.

다음 가이드로 넘어가기

더 알아보기 (Learn more)