llama.cpp 설치

llama.cpp 설치 (Install)

llama.cpp를 설치하는 방법은 소스에서 직접 빌드하는 방법과 프리빌드(pre-built) 패키지를 쓰는 방법으로 나뉘어요. 대부분의 사용자는 conda-forge에서 제공하는 프리빌드 배포판을 쓰는 게 가장 간편해요.

프리빌드 설치는 pixi라는 패키지 매니저로 처리할 수 있어요. Windows, macOS, Linux 모두 지원해요.

출처: llama.cpp 설치 가이드

conda-forge 프리빌드 설치 (Windows, Mac, Linux)

pixi를 써서 프로젝트 로컬 또는 전역에 설치할 수 있어요.

# 프로젝트 로컬 설치
pixi add llama.cpp

# 전역 설치
pixi global install llama.cpp

이 배포판은 conda-forge/llama.cpp-feedstock에서 관리돼요.

소스에서 빌드하기

더 세부적인 제어가 필요하거나 특정 백엔드(CUDA, ROCm, Vulkan 등)를 활성화하고 싶다면 소스에서 빌드해야 해요. 빌드 방법은 별도의 build 문서에 정리되어 있어요.

빌드 과정은 대략 다음과 같아요.

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build
cmake --build build --config Release

빌드가 끝나면 build/bin/ 아래에 llama-cli, llama-server, llama-completion 같은 실행 파일이 생겨요.

설치 후 확인

설치가 잘 됐는지 확인하려면 실행 파일의 버전을 출력해 보면 돼요.

build/bin/llama-cli --version

더 알아보기