SCX.ai

SCX.ai

호주의 주권 AI 플랫폼인 SCX.ai를 LiteLLM에서 사용하는 방법을 알아봐요. OpenAI 호환 API로 오픈 모델을 서비스하며, 재생 가능 에너지 기반 인프라에서 호스팅돼요.

출처: 문서

본문

개요

모든 SCX.ai 채팅 모델을 지원하며, completion 요청을 보낼 때 scx-ai/를 접두사로 붙이면 돼요.

사용 가능한 모델

두 모델 모두 추론, 함수 호출, JSON 모드, JSON 스키마 출력을 지원해요. scx-ai/Qwen3.8-Max는 추가로 이미지 입력을 받아요. 두 모델 모두 프롬프트 캐싱이 자동 적용되며, 캐시 히트는 usage.prompt_tokens_details.cached_tokens에 보고되고 캐시된 입력 요금으로 과금돼요.

필수 변수

os.environ["SCX_API_KEY"] = ""  # your SCX.ai API key

LiteLLM Python SDK 사용법

비스트리밍

import os
import litellm
from litellm import completion

os.environ["SCX_API_KEY"] = ""  # your SCX.ai API key

messages = [{"content": "Hello, how are you?", "role": "user"}]

# SCX.ai call
response = completion(
    model="scx-ai/GLM-5.2",
    messages=messages
)

print(response)

스트리밍

import os
import litellm
from litellm import completion

os.environ["SCX_API_KEY"] = ""  # your SCX.ai API key

messages = [{"content": "Write a short story about AI", "role": "user"}]

# SCX.ai call with streaming
response = completion(
    model="scx-ai/GLM-5.2",
    messages=messages,
    stream=True
)

for chunk in response:
    print(chunk)

함수 호출

import os
import litellm
from litellm import completion

os.environ["SCX_API_KEY"] = ""  # your SCX.ai API key

tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get the current weather in a location",
        "parameters": {
            "type": "object",
            "properties": {
                "city": {
                    "type": "string",
                    "description": "The city, e.g. Sydney"
                }
            },
            "required": ["city"]
        }
    }
}]

messages = [{"role": "user", "content": "What's the weather in Sydney?"}]

response = completion(
    model="scx-ai/GLM-5.2",
    messages=messages,
    tools=tools,
    tool_choice="auto"
)

print(response)

구조화 출력

import os
from litellm import completion

os.environ["SCX_API_KEY"] = ""  # your SCX.ai API key

response = completion(
    model="scx-ai/GLM-5.2",
    messages=[{"role": "user", "content": "The city is Sydney"}],
    response_format={
        "type": "json_schema",
        "json_schema": {
            "name": "city",
            "schema": {
                "type": "object",
                "properties": {"city": {"type": "string"}},
                "required": ["city"],
                "additionalProperties": False,
            },
        },
    },
)

print(response)

비전

이미지 입력은 scx-ai/Qwen3.8-Max에서 지원돼요. 이미지는 각 면이 최소 10픽셀 이상이어야 해요.

import os
from litellm import completion

os.environ["SCX_API_KEY"] = ""  # your SCX.ai API key

response = completion(
    model="scx-ai/Qwen3.8-Max",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "What colour fills this image?"},
            {"type": "image_url", "image_url": {"url": "https://example.com/image.png"}},
        ],
    }],
)

print(response)

LiteLLM Proxy 서버 사용법

config.yaml:

model_list:
  - model_name: glm-5.2
    litellm_params:
      model: scx-ai/GLM-5.2
      api_key: os.environ/SCX_API_KEY
  - model_name: qwen3.8-max
    litellm_params:
      model: scx-ai/Qwen3.8-Max
      api_key: os.environ/SCX_API_KEY

사용자 정의 API Base

옵션 1: 환경 변수

import os
from litellm import completion

os.environ["SCX_API_BASE"] = "https://custom.scx.ai/v1"
os.environ["SCX_API_KEY"] = ""  # your API key

response = completion(
    model="scx-ai/GLM-5.2",
    messages=[{"content": "Hello!", "role": "user"}],
)

옵션 2: 직접 전달

from litellm import completion

response = completion(
    model="scx-ai/GLM-5.2",
    messages=[{"content": "Hello!", "role": "user"}],
    api_base="https://custom.scx.ai/v1",
    api_key="your-api-key",
)

지원되는 OpenAI 파라미터

• temperature
• max_tokens
• max_completion_tokens
• top_p
• frequency_penalty
• presence_penalty
• stop
• n
• stream
• stream_options
• tools
• tool_choice
• response_format
• seed
• logit_bias
• logprobs
• top_logprobs

max_completion_tokens는 상류에 max_tokens로 전송돼요. SCX.ai는 temperature를 [0.0, 2.0) 범위에서 받으며 2.0 자체는 거부하므로, LiteLLM은 더 높은 값을 1.99로 클램프해요.

더 알아보기 (Learn more)

• SCX.ai 공식 문서
• LiteLLM 컴플리션 API