모델 탐색
모델 탐색 (Model Discovery)
와일드카드 모델에 대해 /v1/models를 호출할 때 공급자 엔드포인트 뒤에서 사용 가능한 모델의 정확한 목록을 사용자에게 제공하는 데 사용해요.
출처: 문서
본문
지원되는 모델 (Supported Models)
- Fireworks AI
- OpenAI
- Gemini
- LiteLLM Proxy
- Topaz
- Anthropic
- XAI
- VLLM
- Vertex AI
- Eden AI
사용법 (Usage)
1. config.yaml 설정
model_list:
- model_name: xai/*
litellm_params:
model: xai/*
api_key: os.environ/XAI_API_KEY
litellm_settings:
check_provider_endpoint: true # 👈 와일드카드 모델에 대한 공급자 엔드포인트 확인 활성화
2. 프록시 시작
litellm --config /path/to/config.yaml
# RUNNING on http://0.0.0.0:4000
3. /v1/models 호출
curl -X GET "http://localhost:4000/v1/models" -H "Authorization: Bearer ***"
예상 응답
{
"data": [
{
"id": "xai/grok-2-1212",
"object": "model",
"created": 1677610602,
"owned_by": "openai"
},
{
"id": "xai/grok-2-vision-1212",
"object": "model",
"created": 1677610602,
"owned_by": "openai"
},
{
"id": "xai/grok-3-beta",
"object": "model",
"created": 1677610602,
"owned_by": "openai"
},
{
"id": "xai/grok-3-fast-beta",
"object": "model",
"created": 1677610602,
"owned_by": "openai"
},
{
"id": "xai/grok-3-mini-beta",
"object": "model",
"created": 1677610602,
"owned_by": "openai"
},
{
"id": "xai/grok-3-mini-fast-beta",
"object": "model",
"created": 1677610602,
"owned_by": "openai"
},
{
"id": "xai/grok-beta",
"object": "model",
"created": 1677610602,
"owned_by": "openai"
},
{
"id": "xai/grok-vision-beta",
"object": "model",
"created": 1677610602,
"owned_by": "openai"
},
{
"id": "xai/grok-2-image-1212",
"object": "model",
"created": 1677610602,
"owned_by": "openai"
}
],
"object": "list"
}