LiteLLM 키

LiteLLM 키 (Claude-2, Llama2-70b 등 접근)

새 LLM 지원을 추가하고 테스트용 접근이 필요할 때 사용해요. 모든 프로바이더를 테스트할 수 있는 무료 $10 커뮤니티 키를 제공해요.

출처: 문서

본문

사용법 (커뮤니티 키)

import os
from litellm import completion

## set ENV variables
os.environ["OPENAI_API_KEY"] = "your-api-key"
os.environ["COHERE_API_KEY"] = "your-api-key"

messages = [{ "content": "Hello, how are you?","role": "user"}]

# openai call
response = completion(model="gpt-5.6-luna", messages=messages)

# cohere call
response = completion("command-nightly", messages)

전용 키가 필요한가요? [email protected]로 이메일 보내 주세요.

LiteLLM 키용 지원 모델

이 모델들이 현재 sk-litellm-.. 키와 함께 동작해요.

LiteLLM으로 호출할 수 있는 모델·제공사 전체 목록은 제공사 목록 또는 models.litellm.ai를 확인해요.

  • OpenAI 모델 (OpenAI docs)
    • gpt-4
    • gpt-3.5-turbo
    • gpt-3.5-turbo-16k
  • Llama2 모델 (TogetherAI docs)
    • togethercomputer/llama-2-70b-chat
    • togethercomputer/llama-2-70b
    • togethercomputer/LLaMA-2-7B-32K
    • togethercomputer/Llama-2-7B-32K-Instruct
    • togethercomputer/llama-2-7b
    • togethercomputer/CodeLlama-34b
    • WizardLM/WizardCoder-Python-34B-V1.0
    • NousResearch/Nous-Hermes-Llama2-13b
  • Falcon 모델 (TogetherAI docs)
    • togethercomputer/falcon-40b-instruct
    • togethercomputer/falcon-7b-instruct
  • Jurassic/AI21 모델 (AI21 docs)
    • j2-ultra
    • j2-mid
    • j2-light
  • NLP Cloud 모델 (NLPCloud docs)
    • dolpin
    • chatdolphin
  • Anthropic 모델 (Anthropic docs)
    • claude-2
    • claude-instant-v1

OpenInterpreter용

이 기능은 원래 Open Interpreter 커뮤니티를 위해 만들어졌어요. 이 기능을 사용하려면:

참고: PR이 병합될 때까지 Github 저장소를 clone하고 수정해야 해요.

git clone https://github.com/krrishdholakia/open-interpreter-litellm-fork

실행하려면:

uv build

# call gpt-5.6-terra - always add 'litellm_proxy/' in front of the model name
uv run interpreter --model litellm_proxy/gpt-5.6-terra

# call llama-70b - always add 'litellm_proxy/' in front of the model name
uv run interpreter --model litellm_proxy/togethercomputer/llama-2-70b-chat

# call claude-sonnet-5 - always add 'litellm_proxy/' in front of the model name
uv run interpreter --model litellm_proxy/claude-sonnet-5

그리고 그게 전부예요! 이제 원하는 어떤 모델이든 호출할 수 있어요. 모델을 더 추가해 주길 원한다면 알려 주세요.

더 알아보기 (Learn more)

  • LiteLLM 제공사 목록
  • models.litellm.ai