Windows에 Ollama 설치하기

Windows에 Ollama 설치하기

Ollama는 Windows에서 네이티브 애플리케이션으로 동작하며, NVIDIA와 AMD Radeon GPU를 모두 지원해요. Windows용 Ollama를 설치하면 Ollama가 백그라운드에서 실행되고 ollama 명령줄을 cmd, powershell이나 여러분이 쓰는 터미널에서 바로 쓸 수 있어요. 평소처럼 Ollama API는 http://localhost:11434에서 서빙돼요.

시스템 요구사항

  • Windows 10 22H2 이상(Home 또는 Pro)
  • NVIDIA 카드를 쓴다면 NVIDIA 551.61 이상 드라이버
  • ROCm 가속을 쓴다면 AMD ROCm v7 / HIP7 지원 드라이버 스택, Vulkan 가속을 쓴다면 Vulkan 지원 AMD Radeon 드라이버

Ollama는 진행 상황 표시에 유니코드 문자를 쓰는데, Windows 10의 일부 구형 터미널 폰트에서는 알 수 없는 사각형으로 보일 수 있어요. 그렇게 보이면 터미널 폰트 설정을 바꿔보세요.

일부 RDNA2 / Radeon RX 6000 시스템(RX 6800급 카드 포함)은 현재 Windows AMD 드라이버에서 ROCm v7을 노출하지 못할 수 있어요. 그런 시스템에서는 Vulkan이 기본으로 켜져 있고 권장되는 대체 수단이에요. iGPU/dGPU 혼합 시스템이 불안정한 Vulkan iGPU를 고르면 GGML_VK_VISIBLE_DEVICES에 개별 GPU 인덱스를 설정해주세요.

파일시스템 요구사항

Ollama 설치에는 관리자 권한이 필요 없고, 기본적으로 홈 디렉터리에 설치돼요. 바이너리 설치에 최소 4GB의 공간이 필요해요. 설치가 끝나면 대규모 언어 모델을 저장할 공간이 추가로 필요해요. 모델은 수십에서 수백 GB까지 커질 수 있거든요. 홈 디렉터리 공간이 부족하다면 바이너리가 설치되는 위치와 모델이 저장되는 위치를 바꿀 수 있어요.

설치 위치 바꾸기

홈 디렉터리가 아닌 다른 위치에 Ollama 앱을 설치하려면 다음과 같은 플래그로 설치 프로그램을 시작하세요.

OllamaSetup.exe /DIR="d:\some\location"

모델 위치 바꾸기

홈 디렉터리 대신 다른 곳에 다운로드한 모델을 저장하고 싶다면 사용자 계정에 OLLAMA_MODELS 환경 변수를 설정해주세요.

  1. 설정(Windows 11) 또는 제어판(Windows 10) 앱을 열고 환경 변수를 검색하세요.
  2. 계정의 환경 변수 편집을 클릭하세요.
  3. 모델을 저장하고 싶은 위치로 OLLAMA_MODELS 변수를 편집하거나 새로 만드세요.
  4. 확인/적용을 눌러 저장하세요.

이미 Ollama가 실행 중이라면 트레이 앱을 종료하고 시작 메뉴에서 다시 실행하거나, 환경 변수를 저장한 뒤 새 터미널을 열면 돼요.

API 접근

powershell에서 API에 접근하는 간단한 예시예요.

(Invoke-WebRequest -method POST -Body '{"model":"llama3.2", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

문제 해결

Ollama는 Windows에서 파일을 몇 군데에 나눠 저장해요. <Ctrl>+R을 눌러 explorer 창에서 확인할 수 있어요.

  • explorer %LOCALAPPDATA%\Ollama — 로그와 다운로드한 업데이트
    • app.log — GUI 애플리케이션의 최근 로그
    • server.log — 서버의 최근 로그
    • upgrade.log — 업그레이드 로그
  • explorer %LOCALAPPDATA%\Programs\Ollama — 바이너리(설치 프로그램이 사용자 PATH에 추가함)
  • explorer %HOMEPATH%\.ollama — 모델과 설정
  • explorer %TEMP% — 하나 이상의 ollama* 디렉터리에 저장된 임시 실행 파일

제거

Windows용 Ollama 설치 프로그램은 제거 프로그램(Uninstaller)을 등록해요. Windows 설정의 프로그램 추가/제거에서 Ollama를 제거할 수 있어요.

OLLAMA_MODELS 위치를 변경했다면 설치 프로그램이 다운로드한 모델은 지우지 않아요.

독립형 CLI

Windows에 Ollama를 설치하는 가장 쉬운 방법은 OllamaSetup.exe 설치 프로그램을 쓰는 거예요. 관리자 권한 없이 계정에 설치돼요. 최신 모델을 지원하도록 Ollama를 정기적으로 업데이트하는데, 이 설치 프로그램이 최신 상태를 유지시켜줘요. Ollama를 서비스로 설치하거나 통합하고 싶다면, CLI와 NVIDIA GPU 라이브러리 의존성만 들어 있는 독립형 ollama-windows-amd64.zip 파일을 쓸 수 있어요. 하드웨어에 따라 같은 디렉터리에 추가 패키지를 다운로드해서 압축을 풀어야 할 수도 있어요.

  • AMD GPU: ollama-windows-amd64-rocm.zip
  • MLX (CUDA): ollama-windows-amd64-mlx.zip

이렇게 하면 기존 애플리케이션에 Ollama를 내장하거나, NSSM 같은 도구로 ollama serve를 시스템 서비스로 실행할 수 있어요.

이전 버전에서 업그레이드한다면 기존 디렉터리를 먼저 제거해야 해요.