ONNX Runtime GenAI 개요 — generate() API
ONNX Runtime GenAI 개요
ONNX Runtime GenAI는 ONNX 모델로 생성형 AI를 실행하게 해 주는 라이브러리예요. 소스 코드는 microsoft/onnxruntime-genai 저장소에 있어요. 이 라이브러리는 토크나이제이션 같은 전처리, ONNX Runtime 추론, 로짓 처리, 검색·샘플링, KV 캐시 관리를 포함한 생성형 AI 루프를 제공해요. API가 preview라 변경될 수 있다는 점은 감안해야 해요.
두 가지 사용 방식
- 하이레벨
generate()메서드 — 모델 토큰 시퀀스를 한 번에 생성. - 토큰 단위 루프 — 모델을 한 번에 한 토큰씩 반복 실행하면서, 중간에 생성 파라미터를 갱신.
지원 기능
- greedy/beam search와 TopP, TopK 샘플링으로 토큰 시퀀스 생성
- 반복 페널티 같은 내장 로짓 처리와 커스텀 스코어링 추가
- 챗 템플릿 적용과 구조화된 출력(도구 호출용)까지 지원해요.
문서는 튜토리얼(/docs/genai/tutorials/), API(/docs/genai/api/), How-to(/docs/genai/howto/), 레퍼런스(/docs/genai/reference/)로 나뉘어 있어요.