LlamaGate

LlamaGate

LlamaGate는 크레딧 기반 과금이 있는 오픈소스 LLM용 OpenAI 호환 API 게이트웨이예요. Llama, Mistral, DeepSeek, Qwen을 포함한 26개 이상의 오픈소스 모델에 경쟁력 있는 가격으로 접근할 수 있어요.

출처: 문서

본문

개요 (Overview)

LlamaGate란?

LlamaGate는 OpenAI 호환 API로 오픈소스 LLM에 접근을 제공해요:

• 26+ 오픈소스 모델: Llama 3.1/3.2, Mistral, Qwen, DeepSeek R1 등
• OpenAI 호환 API: OpenAI SDK의 드롭인 대체
• 비전 모델: 멀티모달 태스크용 Qwen VL, LLaVA, olmOCR, UI-TARS
• Reasoning 모델: 복잡한 문제 해결용 DeepSeek R1, OpenThinker
• 코드 모델: CodeLlama, DeepSeek Coder, Qwen Coder, StarCoder2
• 경쟁력 있는 가격: 백만 토큰당 $0.02-$0.55

필수 변수

os.environ["LLAMAGATE_API_KEY"] = ""  # your LlamaGate API key

llamagate.dev에서 API 키를 가져와요.

지원 모델 (Supported Models)

일반 목적

Reasoning 모델

코드 모델

비전 모델

LiteLLM은 현재 LlamaGate를 /chat/completions에만 지원해요. litellm.embedding()은 llamagate/ 라우트에서 지원되지 않아요.

LiteLLM Python SDK 사용법

비스트리밍 (Non-streaming)

import os
import litellm
from litellm import completion

os.environ["LLAMAGATE_API_KEY"] = ""  # your LlamaGate API key
messages = [{"content": "What is the capital of France?", "role": "user"}]

# LlamaGate call
response = completion(
    model="llamagate/llama-3.1-8b",
    messages=messages
)
print(response)

스트리밍 (Streaming)

import os
import litellm
from litellm import completion

os.environ["LLAMAGATE_API_KEY"] = ""  # your LlamaGate API key
messages = [{"content": "Write a short poem about AI", "role": "user"}]

# LlamaGate call with streaming
response = completion(
    model="llamagate/llama-3.1-8b",
    messages=messages,
    stream=True
)

for chunk in response:
    print(chunk)

비전 (Vision)

import os
import litellm
from litellm import completion

os.environ["LLAMAGATE_API_KEY"] = ""  # your LlamaGate API key

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "text",
                "text": "What's in this image?"
            },
            {
                "type": "image_url",
                "image_url": {"url": "https://example.com/image.jpg"}
            }
        ]
    }
]

# LlamaGate vision call
response = completion(
    model="llamagate/qwen3-vl-8b",
    messages=messages
)
print(response)

LiteLLM Proxy Server 사용법

1. 환경에 키 저장

export LLAMAGATE_API_KEY=""

2. Proxy 시작

model_list:
  - model_name: llama-3.1-8b
    litellm_params:
      model: llamagate/llama-3.1-8b
      api_key: os.environ/LLAMAGATE_API_KEY
  - model_name: deepseek-r1
    litellm_params:
      model: llamagate/deepseek-r1-8b
      api_key: os.environ/LLAMAGATE_API_KEY
  - model_name: qwen-coder
    litellm_params:
      model: llamagate/qwen2.5-coder-7b
      api_key: os.environ/LLAMAGATE_API_KEY

지원되는 OpenAI 파라미터

LlamaGate는 모든 표준 OpenAI 호환 파라미터를 지원해요:

가격 (Pricing)

LlamaGate는 경쟁력 있는 토큰당 가격을 제공해요:

더 알아보기 (Learn more)

• LiteLLM 개요
• LiteLLM Python SDK 사용법
• LiteLLM Proxy Server 설정
• 지원되는 공급업체 전체 목록