Lobe Chat — vLLM 배포

Lobe Chat — vLLM 배포

Lobe Chat은 오픈소스·모던 디자인의 ChatGPT/LLM UI·프레임워크입니다. 음성 합성, 멀티모달, 확장 가능한(함수 호출) 플러그인 시스템을 지원하며, 프라이빗한 OpenAI ChatGPT/Claude/Gemini/Groq/Ollama 채팅 애플리케이션을 클릭 한 번으로 무료 배포할 수 있습니다.

vLLM을 AI 모델 프로바이더로 지원해 대규모 언어 모델을 효율적으로 서빙합니다.

출처: 문서

본문

Lobe Chat은 vLLM을 모델 프로바이더로 지원합니다. 사용자는 vLLM의 OpenAI 호환 서버를 Lobe Chat의 API 베이스로 연결해, Lobe Chat의 풍부한 UI·플러그인·멀티모달 기능을 vLLM이 서빙하는 모델과 함께 사용할 수 있습니다.

자세한 내용은 튜토리얼 Using vLLM in LobeChat을 참고하세요.

핵심 포인트:

  • Lobe Chat은 OpenAI 호환 API를 모델 프로바이더로 연결하므로, vLLM의 /v1 엔드포인트만 지정하면 모델을 Lobe Chat UI에서 바로 쓸 수 있습니다.
  • Lobe Chat의 플러그인(함수 호출)·멀티모달·음성 합성 기능은 vLLM이 서빙하는 모델과 조합해 활용할 수 있습니다.

간단한 흐름 (간단한 흐름)

  1. vLLM OpenAI 호환 서버를 실행합니다.
  2. Lobe Chat 배포 시 환경 변수에 vLLM 서버의 /v1 엔드포인트를 지정합니다.
  3. Lobe Chat UI에서 vLLM 모델을 선택해 채팅합니다.

Lobe Chat은 여러 모델 프로바이더를 동시에 등록할 수 있으므로, vLLM(셀프호스팅)을 비롯해 OpenAI·Claude 등 다른 공급자를 함께 등록해 하나의 UI 안에서 전환하며 사용할 수 있습니다. 기본적으로 모델 ID에 hosted_vllm/ 같은 접두사를 붙이는 방식 등으로 프로바이더를 구분하며, 세부 설정은 LobeChat 문서의 vLLM 가이드를 참고하세요.

더 알아보기 (Learn more)