다중 배포
다중 배포 (Multiple Deployments)
같은 모델이 여러 곳에 배포되어 있다면, 배포 목록을 넘겨서 LiteLLM이 첫 번째 성공 응답을 반환하도록 할 수 있어요. 여러 공급사가 같은 모델을 제공할 때 특히 유용하답니다.
출처: 문서
본문
같은 모델의 배포(deployment)가 여러 개 있다면, 배포 목록을 전달하고 LiteLLM이 첫 번째 결과를 반환하게 할 수 있어요.
빠른 시작 (Quick Start)
여러 공급자가 Mistral-7B-Instruct를 제공하고 있어요.
litellm으로 첫 번째 결과를 반환하는 방법은 다음과 같아요:
from litellm import completion
messages=[{"role": "user", "content": "Hey, how's it going?"}]
## All your mistral deployments ##
model_list = [{
"model_name": "mistral-7b-instruct",
"litellm_params": { # params for litellm completion/embedding call
"model": "replicate/mistralai/mistral-7b-instruct-v0.1:83b6a56e7c828e667f21fd596c338fd4f0039b46bcfa18d973e8e70e455fda70",
"api_key": "replicate_api_key",
}
}, {
"model_name": "mistral-7b-instruct",
"litellm_params": { # params for litellm completion/embedding call
"model": "together_ai/mistralai/Mistral-7B-Instruct-v0.1",
"api_key": "togetherai_api_key",
}
}, {
"model_name": "mistral-7b-instruct",
"litellm_params": { # params for litellm completion/embedding call
"model": "together_ai/mistralai/Mistral-7B-Instruct-v0.1",
"api_key": "togetherai_api_key",
}
}, {
"model_name": "mistral-7b-instruct",
"litellm_params": { # params for litellm completion/embedding call
"model": "perplexity/mistral-7b-instruct",
"api_key": "perplexity_api_key"
}
}, {
"model_name": "mistral-7b-instruct",
"litellm_params": {
"model": "deepinfra/mistralai/Mistral-7B-Instruct-v0.1",
"api_key": "deepinfra_api_key"
}
}]
## LiteLLM completion call ## returns first response
response = completion(model="mistral-7b-instruct", messages=messages, model_list=model_list)
print(response)
model_list에 같은 model_name의 여러 배포를 넣고, completion() 호출 시 model_list=model_list를 넘기면 LiteLLM이 첫 번째로 만들어진 응답을 반환해요.