KoboldCpp 개요 — 한 파일로 시작하는 GGUF 추론

KoboldCpp 개요 — 한 파일로 시작하는 GGUF 추론

KoboldCpp는 GGML·GGUF 모델을 위한 사용하기 쉬운 AI 텍스트 생성 소프트웨어예요. 원조 KoboldAI에서 영감을 받았고, llama.cpp 기반 위에 물리지 않는 설치가 필요 없는 단일 자족형 실행 파일로 만들어졌어요.

출처: https://github.com/LostRuins/koboldcpp

주요 특징을 짚어볼게요.

  • 단일 파일 실행 파일, 설치 없음·외부 의존성 없음
  • CPU·GPU 모두 지원(전체 또는 부분 오프로드)
  • 모든 GGML·GGUF 모델을 지원하고 과거 모델과도 하위 호환
  • 이미지 생성·편집(Stable Diffusion 1.5, SDXL, SD3, Flux, Qwen Image 등)
  • 비디오 생성(WAN 2.2), 음성 인식(Whisper), TTS(Qwen3TTS, Kokoro 등)
  • MCP 서버 지원과 도구 호출(tool calling)
  • KoboldCppApi, OpenAiApi, OllamaApi, ComfyUiApi, WhisperTranscribeApi 등 여러 호환 API 엔드포인트
  • KoboldAI Lite UI 번들(채팅·어드벤처·인스트럭트·스토리라이터 모드, 메모리, 월드 인포 등)

Windows·macOS·Linux용 즉시 실행 바이너리가 있고, Colab·Docker에서도 돌리고, 소스 컴파일로 Android(Termux)·Raspberry PI 같은 플랫폼에서도 쓸 수 있어요.

⚠️ 주의할 점: koboldcpp.com은 비공식 사이트예요. 공식 다운로드는 GitHub 릴리스 페이지에서만 받아야 해요.

더 알아보기