LangChain 통합
LangChain 통합 (LangChain)
LangChain은 LLM 애플리케이션을 만들기 위한 인기 프레임워크예요. vLLM은 LangChain을 통해서도 사용할 수 있어요. 이 페이지에서는 LangChain에서 vLLM을 LLM으로 불러 쓰는 방법을 간단히 보여드릴게요.
vLLM은 LangChain을 통해서도 사용할 수 있어요.
LangChain을 설치하려면 다음을 실행하세요.
pip install langchain langchain_community -q
단일 GPU 또는 여러 GPU에서 추론을 실행하려면 langchain의 VLLM 클래스를 사용하세요.
from langchain_community.llms import VLLM
llm = VLLM(
model="Qwen/Qwen3-4B",
trust_remote_code=True, # mandatory for hf models
...
)
더 자세한 내용은 이 튜토리얼을 참고하세요.