PrivateGPT 빠르게 시작하기 — 5분 안에 사설 AI API 띄우기

PrivateGPT는 어떤 OpenAI 호환 LLM 서버에든 연결해서, 사설·자체 호스팅 AI API를 노출해줘요. 전제 조건은 로컬에서 실행 중인 OpenAI 호환 LLM 서버 하나뿐이에요. 네 단계면 서버가 떠요.

출처: https://docs.privategpt.dev/getting-started/quickstart

PrivateGPT 설치

Linux·macOS·Windows별 방법이 있어요. 예를 들어 uv로 설치하는 경우:

uv tool install --python 3.11 \
  --find-links https://wheels.privategpt.dev/packages/ \
  "private-gpt[core]"

macOS는 Homebrew(brew tap zylon-ai/tap; brew install private-gpt), Windows는 uv 인스톨러를 쓸 수 있어요.

자체 LLM 서버를 시작해요. PrivateGPT는 시작 시 모든 모델을 자동 발견해요. 가장 쉬운 출발점이 Ollama예요.

ollama pull qwen3.5:35b          # LLM (~24 GB)
ollama pull mxbai-embed-large   # Embeddings (~670 MB)
ollama serve

LM Studio·LlamaCPP Server·vLLM 등도 지원돼요.

OPENAI_API_BASE와 OPENAI_EMBEDDING_API_BASE로 내 서버들을 가리키면 돼요. 모델은 자동 발견되니 설정 파일이 필요 없어요.

OPENAI_API_BASE=http://localhost:<llm-port>/v1 \
  OPENAI_EMBEDDING_API_BASE=http://localhost:<embedding-port>/v1 \
  private-gpt serve

시작에 성공하면 PrivateGPT는 포트 8080에서 서비스돼요.

브라우저에서 http://localhost:8080/ui를 열면 내장 UI가 보여요. API는 http://localhost:8080이고 Anthropic API 스펙을 따라요. 즉 Claude 전용 도구와 호환되는 사설 엔드포인트로 동작하는 거예요.

DB 툴·웹 검색 툴을 쓰려면 의존성 가이드를, Docker로 격리 실행하려면 Docker install을 이어서 보세요.