Heroku

Heroku

Heroku로 LiteLLM을 사용하려면 Heroku 앱을 구성하고 지원되는 모델을 연결해요.

출처: 문서

본문

모델 프로비저닝 (Provision a Model)

Heroku에서 LiteLLM을 사용하려면 Heroku 앱을 구성하고 지원되는 모델을 연결하세요.

지원 모델 (Supported Models)

Heroku for LiteLLM은 다양한 chat 모델을 지원해요:

환경 변수 (Environment Variables)

Heroku 앱에 모델을 연결하면 세 가지 구성 변수가 설정돼요:

• INFERENCE_KEY: 모델에 대한 요청 인증용 API 키
• INFERENCE_MODEL_ID: 모델 이름 (예: claude-3-5-haiku)
• INFERENCE_URL: 모델 호출용 기본 URL

INFERENCE_KEY와 INFERENCE_URL 둘 다 모델 호출에 필요해요. 이 변수들에 대한 자세한 내용은 Heroku 문서를 참고하세요.

사용 예시 (Usage Examples)

Config 변수 사용

Heroku는 다음 LiteLLM API config 변수를 사용해요:

• HEROKU_API_KEY: LiteLLM의 api_key 파라미터에 해당. Heroku의 INFERENCE_KEY config 변수 값으로 설정.
• HEROKU_API_BASE: LiteLLM의 api_base 파라미터에 해당. Heroku의 INFERENCE_URL config 변수 값으로 설정.

이 예시에서는 api_key와 api_base 변수를 명시적으로 전달하지 않고 Heroku가 사용할 config 변수를 설정해요. LiteLLM이 공급자를 알 수 있도록 모델 이름에 heroku/ 접두사를 포함하세요.

import os
from litellm import completion

os.environ["HEROKU_API_BASE"] = "https://us.inference.heroku.com"
os.environ["HEROKU_API_KEY"] = "fake-heroku-key"

response = completion(
    model="heroku/claude-3-5-haiku",
    messages=[
        {"role": "user", "content": "write code for saying hey from LiteLLM"}
    ]
)
print(response)

파라미터를 직접 전달할 수도 있어요:

from litellm import completion

response = completion(
    model="heroku/claude-sonnet-4",
    api_key="fake-heroku-key",
    api_base="https://us.inference.heroku.com",
    messages=[
        {"role": "user", "content": "write code for saying hey from LiteLLM"}
    ],
)

더 알아보기 (Learn more)

• LiteLLM 개요
• LiteLLM Python SDK 사용법
• LiteLLM Proxy Server 설정
• 지원되는 공급업체 전체 목록