Cloudflare Workers AI

Cloudflare Workers AI

Cloudflare Workers AI의 모델을 Docker Agent에서 사용하는 방법을 설명해요. 전역 엣지 네트워크에서 오픈웨이트 모델을 OpenAI 호환 엔드포인트로 쓸 수 있어요.

출처: 문서

본문

Cloudflare Workers AI는 오픈웨이트(open-weight) 모델(Llama, Mistral, Qwen, Gemma 등)을 Cloudflare의 글로벌 엣지 네트워크에서 OpenAI 호환 엔드포인트로 실행해 주는 서비스예요. 지원되는 모델에는 별도의 프로바이더 계정이 필요 없어요. Docker Agent에는 Workers AI를 기본 제공 alias 프로바이더로 지원하고 있어요.

설정

Workers AI는 계정 단위로 범위가 정해져 있어서 기본 URL이 계정 ID에서 결정돼요. 환경 변수 두 개가 필요해요:

export CLOUDFLARE_ACCOUNT_ID=your-account-id
export CLOUDFLARE_API_TOKEN=your-api-token

Cloudflare 대시보드에서 Workers AI 권한이 있는 API 토큰을 만들어 두세요. 계정 ID는 Workers AI 페이지에서 확인할 수 있어요.

사용법

Workers AI 모델 ID는 @cf/... 형태를 사용해요(예: @cf/meta/llama-3.1-8b-instruct).

인라인 문법

agents:
  root:
    model: cloudflare-workers-ai/@cf/meta/llama-3.1-8b-instruct
    description: Assistant using Cloudflare Workers AI
    instruction: You are a helpful assistant.

네임드 모델 (Named Model)

파라미터를 더 세밀하게 제어하려면:

models:
  cloudflare_model:
    provider: cloudflare-workers-ai
    model: "@cf/meta/llama-3.1-8b-instruct"
    temperature: 0.7
    max_tokens: 8192

agents:
  root:
    model: cloudflare_model
    description: Assistant using Cloudflare Workers AI
    instruction: You are a helpful assistant.

사용 가능한 모델

현재 목록, ID, 가격은 Workers AI 모델 카탈로그에서 확인하세요.

모델 설명
@cf/meta/llama-3.1-8b-instruct Meta Llama 3.1 8B Instruct
@cf/mistralai/mistral-small-3.1-24b-instruct Mistral Small 3.1 24B Instruct
@cf/qwen/qwen2.5-coder-32b-instruct Qwen 2.5 Coder 32B Instruct

동작 방식

Cloudflare Workers AI는 Docker Agent의 기본 제공 alias로 구현돼 있어요:

기본 URL은 템플릿이라서 ${CLOUDFLARE_ACCOUNT_ID}가 프로바이더 생성 시 환경에서 치환돼요. 그래서 CLOUDFLARE_API_TOKEN 외에 CLOUDFLARE_ACCOUNT_ID도 반드시 설정해야 해요. Workers AI는 엄격한 채팅 템플릿을 요구하는 오픈웨이트 모델을 제공하기 때문에, Docker Agent는 이 프로바이더에서 연속된 시스템 메시지를 맨 앞의 하나로 합쳐 줘요.

더 알아보기 (Learn more)