ONNX Runtime GenAI How-to — 설치와 관리
ONNX Runtime GenAI How-to
How-to 섹션은 특정 작업을 완료하는 방법을 안내해요. 목차를 기준으로 어떤 내용이 있는지 소개할게요.
목차
- Install — 라이브러리 설치 방법
- Build from source — 소스 빌드
- Build models — 모델 빌드
- Build models for Snapdragon — Snapdragon용 모델 빌드
- Troubleshoot — 문제 해결
- Migrate — 마이그레이션
- Past present share buffer — 이전/현재 공유 버퍼 관련
어떤 느낌인가요
설치에서 시작해 자체 모델을 빌드하는 흐름이 핵심이에요. 특히 모델 빌드 파트는 ONNX 형식으로 생성형 AI 모델을 준비하는 단계라, generate()를 쓰기 전에 가장 먼저 확인하는 부분이에요. 기존 vLLM 계열 런타임과 달리 ONNX Runtime GenAI는 ONNX 그래프로 변환된 모델을 전제로 해요.
참고
이 API는 preview이고 변경될 수 있어요. 문제가 생기면 문서 이슈 템플릿으로 리포팅하면 돼요.