ONNX Runtime GenAI — 생성형 AI 런타임
ONNX Runtime GenAI
ONNX Runtime GenAI는 ONNX Runtime 위에서 생성형 AI(LLM) 모델을 돌리기 위한 generate() API를 제공하는 라이브러리예요. 현재 preview 상태라는 점을 감안하고, 토크나이제이션부터 추론, 로짓 처리, 검색·샘플링, KV 캐시 관리까지 생성 루프 전체를 한 번에 다뤄 줘요.
이 카테고리의 문서
- Generator API:
generate()로 간단히 추론하거나 토큰 단위 루프로 제어 - 튜토리얼: Phi 시리즈·DeepSeek-R1-Distill과 LoRA 어댑터 실행
- How-to: 설치·빌드·모델 생성·트러블슈팅·마이그레이션