llmware — 온프레미스·엣지용 RAG 파이프라인 프레임워크
llmware — 온프레미스·엣지용 RAG 파이프라인 프레임워크
AI PC나 로컬 서버, 엣지 디바이스에서 지식 기반 RAG 앱을 만들고 싶을 때, 모델 로딩부터 문서 파싱, 임베딩, 검색까지 하나로 묶은 프레임워크가 있으면 편해요. llmware는 GGUF, OpenVINO, ONNXRuntime, Pytorch 등 다양한 추론 백엔드를 지원하면서 모델 카탈로그와 RAG 파이프라인을 함께 제공하는 통합 프레임워크예요.
이 허브에서는 llmware의 개요와 주요 컴포넌트, 첫 라이브러리와 쿼리 예제, 그리고 검색·RAG 사용법을 살펴볼게요.