Ollama Cloud

Ollama Cloud

Ollama의 클라우드 모델은 강력한 GPU 없이도 실행할 수 있는 새 종류의 모델이에요. 클라우드 모델은 Ollama의 클라우드 서비스로 자동 오프로드되면서 로컬 모델과 같은 기능을 제공하므로, 개인 컴퓨터에 들어가지 못하는 더 큰 모델을 실행하면서 기존 로컬 도구를 계속 쓸 수 있게 해줘요.

지원되는 모델

지원되는 모델 목록은 Ollama의 모델 라이브러리를 참고하세요.

클라우드 모델 실행

Ollama의 클라우드 모델은 ollama.com의 계정이 필요해요. 로그인하거나 계정을 만들려면 다음을 실행하세요.

ollama signin

클라우드 모델을 실행하려면 터미널을 열고 다음을 실행합니다.

ollama run gpt-oss:120b-cloud

먼저 클라우드 모델을 풀해 접근할 수 있게 만듭니다.

ollama pull gpt-oss:120b-cloud

다음으로 Ollama의 JavaScript 라이브러리를 설치합니다.

npm i ollama

그런 다음 라이브러리로 클라우드 모델을 실행합니다.

import { Ollama } from "ollama";

const ollama = new Ollama();

const response = await ollama.chat({
  model: "gpt-oss:120b-cloud",
  messages: [{ role: "user", content: "Explain quantum computing" }],
  stream: true,
});

for await (const part of response) {
  process.stdout.write(part.message.content);
}

Cloud API 접근

클라우드 모델은 ollama.com의 API에서 직접 접근할 수도 있어요. 이 모드에서는 ollama.com이 원격 Ollama 호스트 역할을 합니다.

인증

ollama.com의 API에 직접 접근하려면 먼저 API 키를 만드세요. 그런 다음 OLLAMA_API_KEY 환경 변수를 API 키로 설정합니다.

export OLLAMA_API_KEY=your_api_key

모델 목록

Ollama API를 통해 직접 사용할 수 있는 모델은 다음으로 목록을 볼 수 있어요.

curl https://ollama.com/api/tags

먼저 Ollama의 Python 라이브러리를 설치합니다.

pip install ollama

그런 다음 요청을 보냅니다.

import os
from ollama import Client

client = Client(
    host="https://ollama.com",
    headers={'Authorization': 'Bearer ' + os.environ.get('OLLAMA_API_KEY')}
)

messages = [
  {
    'role': 'user',
    'content': 'Why is the sky blue?',
  },
]

for part in client.chat('gpt-oss:120b', messages=messages, stream=True):
  print(part['message']['content'], end='', flush=True)

먼저 Ollama의 JavaScript 라이브러리를 설치합니다.

npm i ollama

다음으로 모델에 요청을 보냅니다.

import { Ollama } from "ollama";

const ollama = new Ollama({
  host: "https://ollama.com",
  headers: {
    Authorization: "Bearer " + process.env.OLLAMA_API_KEY,
  },
});

const response = await ollama.chat({
  model: "gpt-oss:120b",
  messages: [{ role: "user", content: "Explain quantum computing" }],
  stream: true,
});

for await (const part of response) {
  process.stdout.write(part.message.content);
}

로컬 전용

Ollama는 Ollama의 클라우드 기능을 비활성화해 로컬 전용 모드로 실행할 수 있어요.

폐기(Retirement)

Ollama는 더 좋은 새 오픈소스 모델이 출시됨에 따라 가끔 이전 버전의 클라우드 모델을 더 이상 지원하지 않고 폐기해요. Ollama Cloud 모델에 의존하는 도구와 애플리케이션은 계속 동작하려면 업데이트가 필요할 수 있어요. 영향받는 사용자에게는 모델 지원 중단과 폐기 전에 미리 통지합니다. 지원 중단은 이메일과 Ollama 웹사이트를 통해 공지돼요. Ollama Cloud 모델 폐기는 로컬 모델에는 영향을 주지 않습니다.

예정된 폐기

지난 폐기