PrivateGPT 개요

PrivateGPT는 '로컬에서 모델을 실행하는 것'에서 한발 더 나아가, 그 위에 유용한 AI 애플리케이션을 만들 수 있는 계층을 제공해요. 클라우드 없이, 그리고 데이터가 밖으로 새지 않게 개인 AI를 구축하고 싶을 때 쓰는 API 레이어예요.

출처: zylon-ai/private-gpt

PrivateGPT는 로컬 모델을 프로덕션 AI 애플리케이션으로 바꿔주는 오픈소스 API 레이어예요. Claude API 모델을 따라 설계돼서, 백엔드 프리미티브를 매번 다시 만들지 않고도 프라이빗 AI 제품을 만들 수 있게 해 줘요.

중요한 점은 PrivateGPT가 모델을 직접 실행하지 않는다는 것이에요. OPENAI_API_BASE로 어떤 OpenAI 호환 추론 서버에도 연결해요. 그 서버가 /v1/chat/completions와 /v1/models를 구현하면 동작하죠. 구조를 그려보면 이래요.

Your app / agent / workflow / UI
        |
   PrivateGPT API
        |
OpenAI-compatible inference server (Ollama, llama.cpp, vLLM, ...)

PrivateGPT가 제공하는 것은 표준 메시지 API(스트리밍·비동기·토큰 카운팅), 파일·아티팩트 인제션, 인용문이 있는 리트리벌과 에이전틱 RAG, Claude API를 미러링한 내장 도구(웹 검색·웹 페치·코드 실행), 커스텀 도구·MCP 커넥터, 데이터베이스·CSV 구조적 접근, 임베딩·오케스트레이션이에요.

PrivateGPT는 Zylon의 기반으로 운용되고 있어요. 오픈소스 개발자 API가 필요하면 PrivateGPT를, 규제가 많은 조직을 위한 완전한 엔터프라이즈 인프라가 필요하면 Zylon을 쓰면 돼요.