LlamaGate 프로바이더

LlamaGate 는 경쟁력 있는 가격으로 26개 이상의 오픈소스 LLM에 접근할 수 있게 해주는 OpenAI 호환 API 게이트웨이예요. Llama, Qwen, DeepSeek, Mistral 같은 모델을 저렴하게 사용하려는 인디 개발자와 스타트업에 안성맞춤이에요.

26개 이상 오픈소스 모델: Llama, Mistral, DeepSeek R1, Qwen 등 접근
OpenAI 호환 API: 기존 OpenAI 통합의 드롭인 교체 가능
경쟁력 있는 가격: 1M 토큰당 $0.02-$0.55
비전 모델 (Vision Models): Qwen VL, LLaVA로 멀티모달 작업
추론 모델 (Reasoning Models): DeepSeek R1로 복잡한 문제 해결
코드 모델 (Code Models): CodeLlama, DeepSeek Coder, Qwen Coder
임베딩 모델 (Embedding Models): Nomic Embed Text, Qwen 3 Embedding

LlamaGate의 기능에 대해 더 알고 싶다면 LlamaGate 문서를 참고하세요.

출처: 문서

본문

설정 (Setup)

LlamaGate 프로바이더는 @llamagate/ai-sdk-provider 모듈에서 사용할 수 있어요. 다음과 같이 설치할 수 있어요:

프로바이더 인스턴스 (Provider Instance)

LlamaGate 프로바이더 인스턴스를 만들려면 createLlamaGate 함수를 사용하세요:

import { createLlamaGate } from '@llamagate/ai-sdk-provider';

const llamagate = createLlamaGate({
  apiKey: 'YOUR_...EY',
});

LlamaGate API 키는 LlamaGate 대시보드에서 받을 수 있어요.

또는 LLAMAGATE_API_KEY 환경 변수를 읽는 기본 인스턴스를 사용할 수 있어요:

import { llamagate } from '@llamagate/ai-sdk-provider';

언어 모델 (Language Models)

LlamaGate는 llamagate() 함수 또는 llamagate.chatModel()로 채팅 모델을 제공해요:

// 기본 사용법
const model = llamagate('llama-3.1-8b');

// 명시적 채팅 모델
const chatModel = llamagate.chatModel('qwen3-8b');

사용 가능한 모델 (Available Models)

모델 ID	설명	컨텍스트
`llama-3.1-8b`	Llama 3.1 8B Instruct	131K
`llama-3.2-3b`	Llama 3.2 3B	131K
`qwen3-8b`	Qwen 3 8B	32K
`mistral-7b-v0.3`	Mistral 7B v0.3	32K
`deepseek-r1-8b`	DeepSeek R1 8B (추론)	64K
`deepseek-r1-7b-qwen`	DeepSeek R1 Distill Qwen 7B	131K
`openthinker-7b`	OpenThinker 7B	32K
`dolphin3-8b`	Dolphin 3 8B	128K
`qwen2.5-coder-7b`	Qwen 2.5 Coder 7B	32K
`codellama-7b`	CodeLlama 7B	16K
`qwen3-vl-8b`	Qwen 3 VL 8B (비전)	32K
`llava-7b`	LLaVA 1.5 7B (비전)	4K
`gemma3-4b`	Gemma 3 4B (비전)	128K

전체 사용 가능한 모델 목록은 LlamaGate 모델 문서에서 확인할 수 있어요.

임베딩 모델 (Embedding Models)

LlamaGate는 llamagate.textEmbeddingModel()로 텍스트 임베딩 모델을 제공해요:

const embeddingModel = llamagate.textEmbeddingModel('nomic-embed-text');

사용 가능한 임베딩 모델 (Available Embedding Models)

모델 ID	설명	컨텍스트
`nomic-embed-text`	Nomic Embed Text	8K
`embeddinggemma-300m`	EmbeddingGemma 300M	2K
`qwen3-embedding-8b`	Qwen 3 Embedding 8B	40K

예시 (Examples)

다음은 AI SDK와 함께 LlamaGate를 사용하는 예시예요:

`generateText`

import { createLlamaGate } from '@llamagate/ai-sdk-provider';
import { generateText } from 'ai';

const llamagate = createLlamaGate({
  apiKey: 'YOUR_...EY',
});

const { text } = await generateText({
  model: llamagate('llama-3.1-8b'),
  prompt: 'Explain quantum computing in simple terms.',
});

console.log(text);

`streamText`

import { createLlamaGate } from '@llamagate/ai-sdk-provider';
import { streamText } from 'ai';

const llamagate = createLlamaGate({
  apiKey: 'YOUR_...EY',
});

const result = streamText({
  model: llamagate('qwen3-8b'),
  prompt: 'Write a short story about a robot.',
});

for await (const chunk of result) {
  console.log(chunk);
}

`embed`

import { createLlamaGate } from '@llamagate/ai-sdk-provider';
import { embed } from 'ai';

const llamagate = createLlamaGate({
  apiKey: 'YOUR_...EY',
});

const { embedding } = await embed({
  model: llamagate.textEmbeddingModel('nomic-embed-text'),
  value: 'The quick brown fox jumps over the lazy dog.',
});

console.log(embedding);

비전 (Vision)

import { createLlamaGate } from '@llamagate/ai-sdk-provider';
import { generateText } from 'ai';

const llamagate = createLlamaGate({
  apiKey: 'YOUR_...EY',
});

const { text } = await generateText({
  model: llamagate('qwen3-vl-8b'),
  messages: [
    {
      role: 'user',
      content: [
        { type: 'text', text: 'What is in this image?' },
        {
          type: 'file',
          mediaType: 'image',
          data: new URL('https://example.com/image.jpg'),
        },
      ],
    },
  ],
});

console.log(text);

더 알아보기 (Learn more)

전체 사이트맵