Z.AI
Z.AI (Zhipu AI)
Z.AI GLM 텍스트/채팅 모델을 지원해요. completion 요청 시 zai/ 접두어를 붙이면 돼요.
API 키 (API Key)
# env variable
os.environ['ZAI_API_KEY']
샘플 사용법 (Sample Usage)
from litellm import completion
import os
os.environ['ZAI_API_KEY'] = ""
response = completion(
model="zai/glm-4.7",
messages=[
{"role": "user", "content": "hello from litellm"}
],
)
print(response)
샘플 사용법 - 스트리밍 (Sample Usage - Streaming)
from litellm import completion
import os
os.environ['ZAI_API_KEY'] = ""
response = completion(
model="zai/glm-4.7",
messages=[
{"role": "user", "content": "hello from litellm"}
],
stream=True
)
for chunk in response:
print(chunk)
지원 모델 (Supported Models)
모든 Z.AI GLM 모델을 지원해요. completion 요청 시 zai/ 접두어를 붙이면 돼요.
| 모델명 | 함수 호출 | 비고 |
|---|---|---|
glm-4.7 |
completion(model="zai/glm-4.7", messages) |
최신 플래그십, 200K 컨텍스트, 추론 |
glm-4.6 |
completion(model="zai/glm-4.6", messages) |
200K 컨텍스트 |
glm-4.5 |
completion(model="zai/glm-4.5", messages) |
128K 컨텍스트 |
glm-4.5v |
completion(model="zai/glm-4.5v", messages) |
비전 모델 |
glm-4.5-x |
completion(model="zai/glm-4.5-x", messages) |
프리미엄 티어 |
glm-4.5-air |
completion(model="zai/glm-4.5-air", messages) |
경량 |
glm-4.5-airx |
completion(model="zai/glm-4.5-airx", messages) |
빠른 경량 |
glm-4-32b-0414-128k |
completion(model="zai/glm-4-32b-0414-128k", messages) |
32B 파라미터 모델 |
glm-4.5-flash |
completion(model="zai/glm-4.5-flash", messages) |
FREE 티어 |
모델 가격 (Model Pricing)
| 모델 | 입력 ($/1M tokens) | 출력 ($/1M tokens) | 캐시 입력 ($/1M tokens) | 컨텍스트 윈도우 |
|---|---|---|---|---|
glm-4.7 |
$0.60 | $2.20 | $0.11 | 200K |
glm-4.6 |
$0.60 | $2.20 | - | 200K |
glm-4.5 |
$0.60 | $2.20 | - | 128K |
glm-4.5v |
$0.60 | $1.80 | - | 128K |
glm-4.5-x |
$2.20 | $8.90 | - | 128K |
glm-4.5-air |
$0.20 | $1.10 | - | 128K |
glm-4.5-airx |
$1.10 | $4.50 | - | 128K |
glm-4-32b-0414-128k |
$0.10 | $0.10 | - | 128K |
glm-4.5-flash |
FREE | FREE | - | 128K |
LiteLLM Proxy와 함께 사용하기 (Using with LiteLLM Proxy)
- SDK
- PROXY
from litellm import completion
import os
os.environ['ZAI_API_KEY'] = ""
response = completion(
model="zai/glm-4.7",
messages=[{"role": "user", "content": "Hello, how are you?"}],
)
print(response.choices[0].message.content)
- config.yaml 설정:
model_list:
- model_name: glm-4.7
litellm_params:
model: zai/glm-4.7
api_key: os.environ/ZAI_API_KEY
- model_name: glm-4.5-flash # Free tier
litellm_params:
model: zai/glm-4.5-flash
api_key: os.environ/ZAI_API_KEY
- 프록시 실행:
litellm --config config.yaml
- 테스트해 보세요!
curl -L -X POST 'http://0.0.0.0:4000/v1/chat/completions' \
-H 'Content-Type: application/json' \
-H "Authorization: Bearer ***" \
-d '{
"model": "glm-4.7",
"messages": [
{
"role": "user",
"content": "Hello, how are you?"
}
]
}'
출처: 문서