provider_specific_params
provider_specific_params
제공자별 Params 설정
목표: OpenAI와 Cohere에서 max tokens 설정하기
1. completion을 통해
LiteLLM은 max_tokens를 해당 모델 제공자가 사용하는 명명 규칙으로 자동 변환합니다.
from litellm import completionimport os## set ENV variables os.environ["OPENAI_API_KEY"] = "your-openai-key" os.environ["COHERE_API_KEY"] = "your-cohere-key" messages = [{ "content": "Hello, how are you?","role": "user"}]# openai callresponse = completion(model="gpt-5.6-luna", messages=messages, max_tokens=100)# cohere callresponse = completion(model="command-nightly", messages=messages, max_tokens=100)print(response)
2. 제공자별 config를 통해
LiteLLM의 모든 제공자에 대해 그 제공자의 특정 params(그들의 명명 규칙 등을 따름)를 갖추고 있어요. litellm.<provider_name>Config로 그 제공자를 불러와 해당 제공자에 대해 설정할 수 있습니다.
모든 provider config는 타입이 지정되고 docstring이 있으므로, VSCode에서 의미에 대한 설명과 함께 자동 완성되는 것을 볼 수 있어요.
다음은 provider configs를 통해 max tokens를 설정하는 예시입니다.