FastChat 개요 — 설치와 핵심 기능
FastChat 개요 — 설치와 핵심 기능
FastChat은 LLM 기반 챗봇의 훈련, 서빙, 평가를 위한 오픈 플랫폼이에요. 핵심 기능은 선도적 모델(Vicuna, MT-Bench)의 훈련·평가 코드, 그리고 웹 UI와 OpenAI 호환 RESTful API를 갖춘 분산 멀티모델 서빙 시스템이에요.
출처: lm-sys/FastChat
설치
pip로 설치
pip3 install "fschat[model_worker,webui]"
소스에서 설치
git clone https://github.com/lm-sys/FastChat.git
cd FastChat
Mac에서 실행한다면 먼저 Rust와 cmake를 설치해요.
brew install rust cmake
pip3 install --upgrade pip # enable PEP 660 support
pip3 install -e ".[model_worker,webui]"
핵심 기능
- 훈련·평가 코드: Vicuna, MT-Bench 등 최신 모델
- 분산 멀티모델 서빙: 웹 UI + OpenAI 호환 RESTful API
- Chatbot Arena 구동: 70+ LLM, 1,000만+ 채팅 요청 서빙, 150만+ 인간 투표 기반 Elo 리더보드
콘텐츠 구성
읽으면 Install, Model Weights, CLI 추론, Web GUI 서빙, API, Evaluation, Fine-tuning 순서로 이어져요.