GMI Cloud Provider

GMI Cloud provider는 GMI Cloud의 GPU 추론 플랫폼을 통해 OpenAI 호환 API로 오픈 가중치 언어 모델에 접근할 수 있게 해 줘요.

API 키는 GMI Cloud console에서 얻을 수 있어요.

출처: 문서

본문

셋업 (Setup)

GMI Cloud provider는 @ai-sdk/gmicloud 모듈로 사용할 수 있어요. 다음과 같이 설치할 수 있어요:

npm install @ai-sdk/gmicloud

pnpm add @ai-sdk/gmicloud

yarn add @ai-sdk/gmicloud

bun add @ai-sdk/gmicloud

Provider 인스턴스 (Provider Instance)

@ai-sdk/gmicloud에서 기본 provider 인스턴스인 gmicloud을 import할 수 있어요:

import { gmicloud } from '@ai-sdk/gmicloud';

커스텀 구성이 필요하면 createGmicloud을 import하고 설정으로 provider 인스턴스를 만들 수 있어요:

import { createGmicloud } from '@ai-sdk/gmicloud';

const gmicloud = createGmicloud({
  apiKey: proces...IKEY ?? '',
});

GMI Cloud provider 인스턴스를 커스터마이즈하려면 다음 선택 설정을 사용할 수 있어요:

baseURL string — API 호출에 다른 URL 접두사를 사용. 기본 접두사는 https://api.gmi-serving.com/v1.
apiKey string — Authorization 헤더로 전송되는 API 키. 기본값은 GMI_CLOUD_APIKEY 환경 변수.
headers Record<string,string> — 요청에 포함할 커스텀 헤더.
fetch FetchFunction — 커스텀 fetch 구현.

언어 모델 (Language Models)

import { gmicloud } from '@ai-sdk/gmicloud';
import { generateText } from 'ai';

const { text } = await generateText({
  model: gmicloud('deepseek-ai/DeepSeek-V4-Flash-0731'),
  prompt: 'What is the capital of France?',
});

GMI Cloud는 진화하는 오픈 가중치 모델 카탈로그를 제공하므로 모델 id는 string으로 타입 처리돼요. 임베딩 및 이미지 모델은 지원되지 않아요.

오류 진단 (Error diagnostics)

GMI Cloud의 엣지는 reject 시 error.message에 일반 배너를 보고하고 백엔드 엔진의 진단을 error.details에 중첩해요. 이 provider는 중첩된 진단을 풀므로 AI_APICallError.message가 Backend request failed with status 400 대신 엔진의 이유(예: The request is invalid: Invalid max_tokens value, the valid range of max_tokens is [1, 393216].)를 담아요.

GMI Cloud Provider