QVAC Provider
QVAC Provider
QVAC는 로컬 우선(local-first), P2P AI를 위한 오픈소스 크로스 플랫폼 런타임이에요 — LLM, 임베딩, 전사, 번역, 음성, 이미지 생성이 모두 사용자 자신의 하드웨어에서 실행돼요.
@qvac/ai-sdk-provider는 로컬 qvac serve openai HTTP 서버를 가리키고 QVAC의 타입 있는 모델 메타데이터를 다시 내보내는, @ai-sdk/openai-compatible 주변의 브랜디드 래퍼예요.
참고: 이 provider는 로컬 OpenAI 호환 서버와 통신해요. provider를 사용하기 전에
@qvac/cli를 설치하고qvac serve openai로 시작하세요.
출처: 문서
본문
셋업 (Setup)
QVAC provider는 @qvac/ai-sdk-provider 모듈에서 사용할 수 있어요. 다음과 같이 설치할 수 있어요:
pnpm add @qvac/ai-sdk-provider ai @ai-sdk/openai-compatible
npm install @qvac/ai-sdk-provider ai @ai-sdk/openai-compatible
yarn add @qvac/ai-sdk-provider ai @ai-sdk/openai-compatible
bun add @qvac/ai-sdk-provider ai @ai-sdk/openai-compatible
ai와 @ai-sdk/openai-compatible은 peer 의존성이므로 함께 설치하세요.
Provider 인스턴스 (Provider Instance)
@qvac/ai-sdk-provider에서 createQvac을 import하고 실행 중인 qvac serve openai를 가리키는 provider 인스턴스를 만드세요:
import { createQvac } from '@qvac/ai-sdk-provider';
const qvac = createQvac({
baseURL: 'http://127.0.0.1:11434/v1', // match your `qvac serve` port
apiKey: 'x', // anything non-empty; serve does not validate
});
언어 모델 (Language Models)
provider 인스턴스에 qvac serve 별칭을 전달해 모델을 만들 수 있어요:
import { createQvac } from '@qvac/ai-sdk-provider';
import { generateText } from 'ai';
const qvac = createQvac({
baseURL: 'http://127.0.0.1:11434/v1',
apiKey: 'x',
});
const { text } = await generateText({
model: qvac('qwen3.5-0.8b'),
prompt: 'Write a haiku about local-first AI.',
});
console.log(text);