GigaChat
GigaChat
GigaChat의 패스스루 엔드포인트를 소개할게요. 러시아 Sberbank의 GigaChat이 제공하는 프로바이더 고유 엔드포인트를 네이티브 형식 그대로(변환 없이) 호출할 수 있는 기능이에요. /chat/completions, /embeddings 같은 엔드포인트를 그대로 사용할 수 있어요.
출처: 문서
본문
연결 대상 호스트는 다음과 같아요.
https://gigachat.devices.sberbank.ru/api/v1
프록시를 통한 주소는 이렇게 구성돼요.
LITELLM_PROXY_BASE_URL/gigachat
빠른 시작 (Quick Start)
GigaChat 자격 증명을 환경 변수로 설정해요.
export GIGACHAT_CREDENTIALS="your-authorization-key"
# Optional: defaults to GIGACHAT_API_PERS
export GIGACHAT_SCOPE="GIGACHAT_API_PERS"
인증을 위해 GigaChat의 토큰 GIGACHAT_ACCESS_TOKEN이 사용돼요. GigaChat은 공개 인증서를 사용하므로, GigaChat 인증서 문서를 참고해 프록시 설정에 ssl_verify: false를 추가해야 할 수도 있어요. 그다음 LiteLLM 프록시를 실행해요.
litellm
# RUNNING on http://0.0.0.0:4000
chat completions 호출 예시예요.
curl -L -X POST 'http://0.0.0.0:4000/gigachat/chat/completions' \
-H 'Content-Type: application/json' \
-H "Authorization: Bearer ***" \
-d '{
"model": "GigaChat-2",
"messages": [{"role": "user", "content": "Hello!"}]
}'
예시 (Examples)
핵심 아이디어는 단순해요. GigaChat SDK의 베이스 URL을 http://0.0.0.0:4000/gigachat로 바꾸면 돼요. 원래 https://gigachat.devices.sberbank.ru/api/v1을 호출하던 것을 http://0.0.0.0:4000/gigachat로 바꾸고, 인증 헤더를 bearer $GIGACHAT_ACCESS_TOKEN 대신 LiteLLM 키(bearer anything 또는 가상 키 bearer LITELLM_VIRTUAL_KEY)로 바꾸면 됩니다.
예시 1: chat completions 스트리밍
curl -L -X POST 'http://0.0.0.0:4000/gigachat/chat/completions' \
-H 'Content-Type: application/json' \
-H "Authorization: Bearer ***" \
-d '{
"model": "GigaChat-2",
"messages": [{"role": "user", "content": "Hello!"}],
"stream": true
}'
예시 2: embeddings
curl -L -X POST 'http://0.0.0.0:4000/gigachat/embeddings' \
-H 'Content-Type: application/json' \
-H "Authorization: Bearer ***" \
-d '{
"model": "EmbeddingsGigaR",
"input": ["Hello!"]
}'
예시 3: 모델 목록 조회
curl -L -X GET 'http://0.0.0.0:4000/gigachat/models' \
-H "Authorization: Bearer ***"