시작하기
시작하기 (Get Started)
LiteLLM을 설치하고 첫 컴플리션 호출을 해보는 가장 빠른 길을 안내해요. 여러 공급사의 API 키를 등록해 두면, 같은 인터페이스로 OpenAI, Cohere 등 다양한 모델을 호출할 수 있답니다.
출처: 문서
본문
이 섹션은 이미 API 키를 등록해 두었다고 가정해요. 호스팅되지 않은(non-hosted) 버전을 사용하려면 여기로 이동하면 됩니다.
uv add litellm
from litellm import completion
## set ENV variables
os.environ["OPENAI_API_KEY"] = "openai key"
os.environ["COHERE_API_KEY"] = "cohere key"
messages = [{ "content": "Hello, how are you?","role": "user"}]
# openai call
response = completion(model="gpt-3.5-turbo", messages=messages)
# cohere call
response = completion("command-nightly", messages)
completion() 함수에 모델 이름과 메시지만 넘기면, 각 공급사에 맞는 호출이 자동으로 처리돼요.