OVHcloud

OVHcloud

OVHcloud AI Endpoints의 모델을 Docker Agent에서 사용하는 방법을 설명해요. EU에 호스팅된 OpenAI 호환 API로 오픈웨이트 모델을 쓸 수 있어요.

출처: 문서

본문

OVHcloud AI Endpoints는 오픈웨이트(open-weight) 모델을 EU에 호스팅된 OpenAI 호환 API로 제공해요. Docker Agent에는 OVHcloud를 기본 제공 alias 프로바이더로 지원하고 있어요.

설정

  • OVHcloud AI Endpoints 포털에서 액세스 토큰을 만드세요.
export OVH_AI_ENDPOINTS_ACCESS_TOKEN=your-access-token

사용법

인라인 문법

agents:
  root:
    model: ovhcloud/Qwen3.5-397B-A17B
    description: Assistant using OVHcloud
    instruction: You are a helpful assistant.

네임드 모델

models:
  ovhcloud_model:
    provider: ovhcloud
    model: Qwen3.5-397B-A17B
    temperature: 0.7
    max_tokens: 8192

agents:
  root:
    model: ovhcloud_model
    description: Assistant using OVHcloud
    instruction: You are a helpful assistant.

사용 가능한 모델

OVHcloud는 회전하는 오픈웨이트 모델 카탈로그를 호스팅해요. 현재 모델 ID, 컨텍스트 제한, 무료 티어 가용성은 AI Endpoints 카탈로그에서 확인하세요.

모델 설명
Qwen3.5-397B-A17B 큰 Qwen3.5 MoE — 강력한 일반·코딩·추론
Qwen3-32B 중간 크기 Qwen3 — 빠름, 도구 호출, 추론
Qwen3.6-27B 컴팩트 Qwen3.6 — 빠르고 효율적
Qwen3.5-9B 작은 Qwen3.5 — 가볍고 무료 티어 친화적
Qwen3-Coder-30B-A3B-Instruct Qwen3 Coder MoE — 코드 생성에 최적화
Meta-Llama-3_3-70B-Instruct Llama 3.3 70B — 믿을 수 있는 범용 채팅
Mistral-Small-3.2-24B-Instruct-2506 컴팩트, 빠름, 도구 호출

모델 ID는 대소문자를 구분하고 카탈로그가 나열하는 방식 그대로 전달해야 해요.

동작 방식

OVHcloud는 Docker Agent의 기본 제공 alias로 구현돼 있어요:

일부 OVHcloud 모델은 요청에 시스템 메시지가 하나보다 많으면 빈 스트림을 반환하기 때문에, Docker Agent는 OVHcloud에 대해 연속된 시스템 메시지를 자동으로 하나로 합쳐 줘요.

무료 티어

OVHcloud는 여러 모델에 속도가 제한된 무료 접근을 제공해요. 과도한 속도 제한 아래에서는 엔드포인트가 빈 응답을 반환할 수 있는데, Docker Agent는 이를 실패가 아니라 경고로 표시해요. 지속적으로 쓰려면 유료 요금제의 액세스 토큰이 무료 티어의 요청 속도 상한을 피해 줘요.

예시: 코드 어시스턴트

agents:
  coder:
    model: ovhcloud/Qwen3.5-397B-A17B
    description: Code assistant using Qwen3.5
    instruction: |
      You are an expert programmer.
      Write clean, well-documented code and follow language best practices.
    toolsets:
      - type: filesystem
      - type: shell
      - type: think

더 알아보기 (Learn more)