PrivateGPT 빠른 시작

PrivateGPT를 시작하는 핵심은 OpenAI 호환 LLM 서버를 띄우고, PrivateGPT가 그 서버를 가리키게 하는 거예요. Ollama가 가장 쉬운 출발점이에요.

출처: PrivateGPT 문서

먼저 OpenAI 호환 LLM 서버가 필요해요. Ollama를 쓰는 게 가장 간단한데요, LLM과 임베딩 모델을 각각 내려받고 서버를 띄워요.

ollama pull qwen3.5:35b         # LLM (~24 GB)
ollama pull mxbai-embed-large   # Embeddings (~670 MB)
ollama serve

이제 PrivateGPT를 설치해요. 플랫폼별로 설치 방법이 달라요.

# macOS
brew tap zylon-ai/tap
brew install private-gpt

# Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
uv tool install --python 3.11   --find-links https://wheels.privategpt.dev/packages/   "private-gpt[core]"

다음으로 LLM 서버와 임베딩 서버를 환경변수로 연결하고 PrivateGPT를 실행해요.

# macOS / Linux
OPENAI_API_BASE=http://localhost:<llm-port>/v1 OPENAI_EMBEDDING_API_BASE=http://localhost:<embedding-port>/v1 private-gpt serve

# Windows (PowerShell)
$env:OPENAI_API_BASE = "http://localhost:<llm-port>/v1"
$env:OPENAI_EMBEDDING_API_BASE = "http://localhost:<embedding-port>/v1"
private-gpt serve

웹 UI는 http://localhost:8080/ui에서 열리고, API는 http://localhost:8080에서 Anthropic API 스펙을 따르는 엔드포인트로 제공돼요. UI에서 메시지 전송, 모델 선택, 문서 업로드, 인용문 리트리벌 테스트, 도구 설정을 해볼 수 있어요. 이 UI는 데모용이고, 실제 제품은 그 위에 API로 직접 개발하는 게 의도예요.