설치와 빌드

설치와 빌드

llama-cpp-python은 파이썬에서 llama.cpp를 쓰는 가장 흔한 방법이에요. 설치는 pip 한 줄로 시작하지만, 하드웨어 가속을 켜려면 빌드 옵션을 조금 신경 써야 해요.

출처: https://github.com/abetlen/llama-cpp-python

기본 설치부터 볼게요. 커맨드는 다음과 같아요.

pip install llama-cpp-python

이 명령은 llama.cpp를 소스에서 빌드해 패키지와 함께 설치해요. 빌드는 C 컴파일러가 필요해요. 리눅스는 gcc/clang, 윈도우는 Visual Studio나 MinGW, macOS는 Xcode가 있어야 하죠. 빌드가 실패하면 --verbose를 붙여 전체 cmake 로그를 확인할 수 있어요.

CPU 기본 지원이 있는 프리빌트 휠도 있어요. 이 경우 --extra-index-url로 지정된 저장소에서 받아요.

pip install llama-cpp-python \
  --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cpu

하드웨어 가속 백엔드는 설치 시 CMAKE_ARGS 환경 변수(또는 -C cmake.args)로 선택해요. 예를 들어 OpenBLAS(CPU)는 CMAKE_ARGS="-DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLAS", CUDA는 CMAKE_ARGS="-DGGML_CUDA=on", Metal(MPS)은 CMAKE_ARGS="-DGGML_METAL=on"으로 지정해요. 각 백엔드에 맞는 프리빌트 휠도 제공돼요.

업그레이드·재빌드는 --upgrade --force-reinstall --no-cache-dir 플래그를 붙이면 소스에서 확실히 다시 빌드돼요.

더 알아보기