Dify — vLLM 배포

Dify — vLLM 배포

Dify는 오픈소스 LLM 앱 개발 플랫폼입니다. 직관적인 인터페이스가 에이전트형 AI 워크플로우, RAG 파이프라인, 에이전트 기능, 모델 관리, 관측성 기능을 결합해 프로토타입에서 프로덕션까지 빠르게 이동하게 해 줍니다. vLLM을 모델 프로바이더로 지원하여 대형 언어 모델을 효율적으로 서빙합니다.

출처: 문서

본문

사전 준비 (Prerequisites)

vLLM 환경을 설정합니다.

pip install vllm

그리고 Docker와 Docker Compose를 설치합니다.

배포 (Deploy)

  1. 지원되는 채팅 완성 모델로 vLLM 서버를 시작합니다.
vllm serve Qwen/Qwen1.5-7B-Chat
  1. docker compose로 Dify 서버를 시작합니다(상세).
git clone https://github.com/langgenius/dify.git
cd dify
cd docker
cp .env.example .env
docker compose up -d
  1. 브라우저에서 http://localhost/install에 접속해 기본 로그인 정보를 설정하고 로그인합니다.
  2. 오른쪽 위 사용자 메뉴(프로필 아이콘 아래)에서 Settings → Model Provider로 가서 vLLM 프로바이더를 설치합니다.
  3. 모델 프로바이더 상세를 다음과 같이 입력합니다.
    • Model Type: LLM
    • Model Name: Qwen/Qwen1.5-7B-Chat
    • API Endpoint URL: http://{vllm_server_host}:{vllm_server_port}/v1
    • Model Name for API Endpoint: Qwen/Qwen1.5-7B-Chat
    • Completion Mode: Completion
  4. 테스트 챗봇을 만들려면 Studio → Chatbot → Create from Blank로 가서 챗봇 타입을 선택합니다.
  5. 만든 챗봇을 클릭해 채팅 인터페이스를 열고 모델과 상호작용합니다.

Dify의 모델 프로바이더는 vLLM의 /v1 OpenAI 호환 엔드포인트를 호출하므로, Dify의 RAG·워크플로우·에이전트 기능을 vLLM 서빙 모델과 함께 그대로 활용할 수 있습니다. Completion 모드는 채팅 완성이 아닌 일반 텍스트 완성 방식으로 응답을 받고 싶을 때 선택합니다.

더 알아보기 (Learn more)