Linux에 Ollama 설치하기

Linux에 Ollama 설치하기

Linux에서 Ollama를 설치하는 방법을 살펴볼게요. 가장 간단한 스크립트 설치부터 수동 설치, systemd 서비스 등록까지 차근차근 진행해요.

설치

Ollama를 설치하려면 다음 명령을 실행하세요.

curl -fsSL https://ollama.com/install.sh | sh

수동 설치

이전 버전에서 업그레이드한다면 먼저 기존 라이브러리를 sudo rm -rf /usr/lib/ollama로 제거해야 해요.

패키지를 다운로드하고 압축을 풉니다.

curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst \
    | sudo tar x -C /usr

Ollama를 시작합니다.

ollama serve

다른 터미널에서 Ollama가 실행 중인지 확인합니다.

ollama -v

AMD GPU 설치

AMD GPU가 있다면 추가 ROCm 패키지도 다운로드해서 압축을 풉니다.

curl -fsSL https://ollama.com/download/ollama-linux-amd64-rocm.tar.zst \
    | sudo tar x -C /usr

ARM64 설치

ARM64용 패키지를 다운로드해서 압축을 풉니다.

curl -fsSL https://ollama.com/download/ollama-linux-arm64.tar.zst \
    | sudo tar x -C /usr

시작 서비스로 등록하기(권장)

Ollama용 사용자와 그룹을 만듭니다.

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

/etc/systemd/system/ollama.service에 서비스 파일을 만듭니다.

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=multi-user.target

다음으로 서비스를 시작합니다.

sudo systemctl daemon-reload
sudo systemctl enable ollama

CUDA 드라이버 설치(선택)

CUDA를 다운로드해서 설치하세요. 드라이버가 설치됐는지 다음 명령으로 확인하면 GPU 정보가 출력돼요.

nvidia-smi

AMD ROCm 드라이버 설치(선택)

ROCm v7을 다운로드해서 설치하세요.

Ollama 시작

Ollama를 시작하고 실행 중인지 확인합니다.

sudo systemctl start ollama
sudo systemctl status ollama

AMD는 amdgpu 드라이버를 공식 Linux 커널 소스에 업스트림으로 기여했지만, 그 버전은 오래됐고 모든 ROCm 기능을 지원하지 않을 수 있어요. Radeon GPU를 최상으로 활용하려면 최신 드라이버를 설치할 것을 권장해요.

사용자 지정

Ollama 설치를 사용자 지정하려면 다음 명령으로 systemd 서비스 파일이나 환경 변수를 편집할 수 있어요.

sudo systemctl edit ollama

또는 /etc/systemd/system/ollama.service.d/override.conf에 오버라이드 파일을 직접 만들 수 있어요.

[Service]
Environment="OLLAMA_DEBUG=1"

업데이트

설치 스크립트를 다시 실행해서 Ollama를 업데이트할 수 있어요.

curl -fsSL https://ollama.com/install.sh | sh

또는 Ollama를 다시 다운로드합니다.

curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst \
    | sudo tar x -C /usr

특정 버전 설치하기

특정 버전(프리릴리스 포함)을 설치하려면 설치 스크립트에 OLLAMA_VERSION 환경 변수를 쓰세요. 버전 번호는 릴리스 페이지에서 확인할 수 있어요. 예:

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh

로그 보기

시작 서비스로 실행 중인 Ollama의 로그는 다음 명령으로 볼 수 있어요.

journalctl -e -u ollama

제거

ollama 서비스를 제거합니다.

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

lib 디렉터리(/usr/local/lib, /usr/lib, 또는 /lib)에서 ollama 라이브러리를 제거합니다.

sudo rm -r $(which ollama | tr 'bin' 'lib')

bin 디렉터리(/usr/local/bin, /usr/bin, 또는 /bin)에서 ollama 바이너리를 제거합니다.

sudo rm $(which ollama)

다운로드한 모델과 Ollama 서비스 사용자·그룹을 제거합니다.

sudo userdel ollama
sudo groupdel ollama
sudo rm -r /usr/share/ollama