Heroku LLM Managed Inference

Heroku LLM Managed Inference

llama-index-llms-heroku 패키지는 Heroku의 Managed Inference 플랫폼에 배포된 모델로 애플리케이션을 만들기 위한 LlamaIndex 통합이에요. Heroku 인프라에 배포된 AI 모델에 쉽게 연결해 사용할 수 있게 해 줍니다.

출처: 문서

본문

설치 (Installation)

%pip install llama-index-llms-heroku

설정 (Setup)

1. Heroku 앱 만들기

먼저 Heroku에서 앱을 만들어요.

heroku create $APP_NAME

2. AI 모델 생성 및 연결

앱에 채팅 모델을 만들고 연결해요.

heroku ai:models:create -a $APP_NAME claude-3-5-haiku

3. 설정 변수 내보내기

필요한 설정 변수를 내보내요.

export INFERENCE_KEY=$(heroku config:get INFERENCE_KEY -a $APP_NAME)
export INFERENCE_MODEL_ID=$(heroku config:get INFERENCE_MODEL_ID -a $APP_NAME)
export INFERENCE_URL=$(heroku config:get INFERENCE_URL -a $APP_NAME)

사용법 (Usage)

기본 사용법 (Basic Usage)

from llama_index.llms.heroku import Heroku
from llama_index.core.llms import ChatMessage, MessageRole


# Heroku LLM 초기화
llm = Heroku()


# 채팅 메시지 생성
messages = [
    ChatMessage(
        role=MessageRole.SYSTEM, content="You are a helpful assistant."
    ),
    ChatMessage(
        role=MessageRole.USER,
        content="What are the most popular house pets in North America?",
    ),
]


# 응답 받기
response = llm.chat(messages)
print(response)

환경 변수 사용

통합은 자동으로 환경 변수에서 값을 읽어요.

import os


# 환경 변수 설정
os.environ["INFERENCE_KEY"] = "your-inference-key"
os.environ["INFERENCE_URL"] = "https://us.inference.heroku.com"
os.environ["INFERENCE_MODEL_ID"] = "claude-3-5-haiku"


# 파라미터 없이 초기화
llm = Heroku()

파라미터 사용

파라미터를 직접 전달할 수도 있어요.

import os


llm = Heroku(
    model=os.getenv("INFERENCE_MODEL_ID", "claude-3-5-haiku"),
    api_key=os.getenv("INFERENCE_KEY", "your-inference-key"),
    inference_url=os.getenv(
        "INFERENCE_URL", "https://us.inference.heroku.com"
    ),
    max_tokens=1024,
)

사용 가능한 모델 (Available Models)

전체 모델 목록은 Heroku Managed Inference 문서에서 확인할 수 있어요.

오류 처리 (Error Handling)

통합은 흔한 문제에 대한 적절한 오류 처리를 포함해요.

• API 키 누락
• 잘못된 inference URL
• 모델 설정 누락

추가 정보 (Additional Information)

Heroku Managed Inference에 대한 자세한 내용은 공식 문서를 참고하세요.

더 알아보기 (Learn more)

• Heroku Managed Inference 문서
• Heroku Managed Inference - 모델 목록