Xinference 소개 — 모델 서빙을 쉽게

Xinference 소개

Xorbits Inference(Xinference) 는 다양한 AI 모델의 운영과 통합을 간소화하는 오픈소스 플랫폼입니다. 오픈소스 LLM, 임베딩, 멀티모달 모델을 클라우드 또는 자체 인프라에서 실행하고 강력한 AI 애플리케이션을 만들 수 있습니다.

출처: Welcome to Xinference — 공식문서

시작하기

  • Install — Linux, Windows, macOS 에 설치.
  • Using Xinference — 로컬에서 실행하고 시도.
  • Explore models — 광범위한 내장 모델 탐색.
  • Custom Models — 자체 모델 등록·API 전환.

할 수 있는 것

  • Chat & Generate — LLM 과 대화.
  • Tools — LLM 을 외부 도구와 연결.
  • Embeddings — 텍스트 임베딩 생성.
  • Rerank — 리랭크 모델 사용.
  • Images / Audio / Video — 이미지 생성, 오디오 변환, 비디오 생성.
  • Multimodal — 이미지·오디오를 LLM 으로 처리.
  • Traditional ML models — 전통 ML 모델 추론.

Python 클라이언트로 로컬 서버(http://localhost:9997)에 연결해 모델을 가져올 수 있습니다.

더 알아보기