실행하기 — Windows·Linux·macOS·Colab
실행하기 — Windows·Linux·macOS·Colab
KoboldCpp는 플랫폼마다 사전 빌드된 바이너리를 내려받아 바로 실행하는 방식이에요. 인자 없이 실행하면 GUI가 뜨고, 기본값대로 모델과 GPU 레이어만 골라주면 됩니다.
출처: https://github.com/LostRuins/koboldcpp#windows-usage-precompiled-binary-recommended
Windows: koboldcpp.exe(pyinstaller 래퍼)를 내려받아 바로 실행해요. 인자 없이 실행하면 설정 가능한 GUI가 뜨고, 대개 Presets와 GPU Layers만 조정하면 돼요. 기본 연결 주소는 http://localhost:5001이에요. 명령줄은 koboldcpp.exe --help로 확인해요.
Linux: koboldcpp-linux-x64 바이너리를 내려받아 실행 권한을 준 뒤 돌려요. 오래된 기기라면 koboldcpp-linux-x64-oldpc가 호환성이 좋아요.
curl -fLo koboldcpp https://github.com/LostRuins/koboldcpp/releases/latest/download/koboldcpp-linux-x64-oldpc && chmod +x koboldcpp
./koboldcpp
macOS: ARM64(M1/M2/M3)용 바이너리가 있어요. chmod +x koboldcpp-mac-arm64로 실행 권한을 주고 ./koboldcpp-mac-arm64로 실행하며, 새 macOS에서는 보안 설정에서 허용해 줘야 할 수 있어요.
Colab: 공식 GPU Colab 노트북으로 설치 없이 1~2분 만에 시작할 수 있어요. 70B+ 모델을 저렴하게 돌리려면 RunPod 이미지도 있어요.
성능 팁: Windows에서 NVIDIA GPU면 --usecuda(NVIDIA 전용) 또는 --usevulkan(아무 GPU) 플래그로 가속하고, --gpulayers로 VRAM에 내려보낼 레이어 수를 조절해요. --contextsize (number)로 컨텍스트 크기를 늘릴 수 있고, 오래된 CPU에서 크래시가 나면 --noavx2 호환 모드를 써요.