NEAR AI Cloud 프로바이더
NEAR AI Cloud 프로바이더
NEAR AI Cloud 는 OpenAI 호환 API를 통해 TEE 기반 추론을 제공해요. @ai-sdk/openai-compatible 모듈을 통해 AI SDK에서 사용할 수 있어요.
출처: 문서
본문
설정 (Setup)
NEAR AI Cloud 프로바이더는 OpenAI API와 호환되므로 @ai-sdk/openai-compatible 모듈을 통해 사용할 수 있어요. 다음과 같이 설치하면 돼요:
프로바이더 인스턴스
NEAR AI Cloud를 사용하려면 @ai-sdk/openai-compatible 의 createOpenAICompatible 함수로 커스텀 프로바이더 인스턴스를 만들 수 있어요:
import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
const nearai = createOpenAICompatible({
name: 'nearai',
baseURL: 'https://cloud-api.near.ai/v1',
apiKey: proces...KEY,
transformRequestBody: body => {
const { reasoning_effort, ...rest } = body;
return rest;
},
});
언어 모델 (Language Models)
프로바이더 인스턴스를 사용해 NEAR AI Cloud 모델을 만들 수 있어요. 첫 번째 인자는 공개 모델 카탈로그 의 모델 ID예요. 예: zai-org/GLM-5.1-FP8.
const model = nearai('zai-org/GLM-5.1-FP8');
예제
generateText 함수로 NEAR AI Cloud 언어 모델을 사용해 텍스트를 생성할 수 있어요:
import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';
const nearai = createOpenAICompatible({
name: 'nearai',
baseURL: 'https://cloud-api.near.ai/v1',
apiKey: proces...KEY,
transformRequestBody: body => {
const { reasoning_effort, ...rest } = body;
return rest;
},
});
const { text } = await generateText({
model: nearai('zai-org/GLM-5.1-FP8'),
prompt: 'Tell me about yourself in one sentence.',
});
console.log(text);
NEAR AI Cloud 언어 모델은 streamText 함수로 스트리밍 방식으로 텍스트를 생성할 수도 있어요:
import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';
const nearai = createOpenAICompatible({
name: 'nearai',
baseURL: 'https://cloud-api.near.ai/v1',
apiKey: proces...KEY,
transformRequestBody: body => {
const { reasoning_effort, ...rest } = body;
return rest;
},
});
const result = streamText({
model: nearai('zai-org/GLM-5.1-FP8'),
prompt: 'Write a short haiku about private inference.',
});
for await (const message of result.textStream) {
console.log(message);
}
NEAR AI Cloud 모델 카탈로그의 지원되는 modelId 를 모두 사용할 수 있어요. 모델 메타데이터에는 컨텍스트 길이, 모달리티, 그 모델에 TEE attestation이 지원되는지 여부가 포함돼요.