text-generation-webui 개요 — 설치와 기능
text-generation-webui 개요 — 설치와 기능
text-generation-webui는 로컬 LLM용 데스크톱 앱이에요. 오픈소스이고 텔레메트리가 없으며, 텍스트·비전·도구 호출·웹 검색을 지원해요. UI와 API를 모두 제공하죠.
1분 시작
릴리스에서 다운로드·압축해제 후 textgen을 더블클릭하면 창이 열려요. Linux·Windows·macOS용 휴대용 빌드가 CUDA, Vulkan, ROCm, CPU-only 옵션으로 제공되고, 모든 의존성이 포함돼 있어요. GGUF(llama.cpp) 모델과 호환돼요.
https://github.com/oobabooga/textgen/releases
핵심 기능
채팅·생성
instruct모드(지시 추종)와chat-instruct/chat모드(캐릭터 대화). 프롬프트는 Jinja2 템플릿으로 자동 포맷- 비전(멀티모달): 메시지에 이미지 첨부
- 파일 첨부: 텍스트 파일, PDF, .docx 업로드해 내용 대화
- Notebook 탭에서 자유 텍스트 생성
백엔드·API
- 다중 백엔드: llama.cpp, ik_llama.cpp, Transformers, ExLlamaV3, TensorRT-LLM. 재시작 없이 전환 가능
- OpenAI/Anthropic 호환 API: Chat, Completions, Messages 엔드포인트 + 도구 호출 지원