Docker로 Ollama 실행하기
Docker로 Ollama 실행하기
Ollama를 Docker 컨테이너로도 실행할 수 있어요. CPU만 쓰는 환경부터 GPU 가속까지, 환경에 맞는 방법을 골라보면 돼요.
CPU 전용
GPU가 없는 환경이라면 CPU 전용 이미지를 그대로 쓰면 돼요.
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
NVIDIA GPU
NVIDIA GPU를 쓰려면 먼저 NVIDIA Container Toolkit을 설치해야 해요.
Apt로 설치
- 저장소를 구성한다
- NVIDIA Container Toolkit 패키지를 설치한다
Yum 또는 Dnf로 설치
- 저장소를 구성한다
- NVIDIA Container Toolkit 패키지를 설치한다
Docker가 Nvidia 드라이버를 쓰도록 구성
컨테이너 시작
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
AMD GPU
Docker에서 AMD GPU로 Ollama를 실행하려면 rocm 태그를 쓰고 다음 명령을 실행하세요.
docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm
Vulkan 지원
Vulkan은 ollama/ollama 이미지에 포함되어 있고, 컨테이너가 GPU 디바이스에 접근할 수 있을 때 기본으로 활성화돼요.
Vulkan을 끄려면 OLLAMA_VULKAN=0을, 특정 Vulkan 디바이스를 고르려면 GGML_VK_VISIBLE_DEVICES=<ids>를 쓰면 돼요.
로컬에서 모델 실행하기
이제 모델을 실행할 수 있어요.
docker exec -it ollama ollama run llama3.2
다른 모델 시도하기
더 많은 모델은 Ollama 라이브러리에서 찾아볼 수 있어요.