Helicone AI Gateway
Helicone AI Gateway
Helicone은 OpenAI 호환 AI Gateway로, 관측성·제어·캐싱을 갖춰 여러 프로바이더로 요청을 라우팅해요. 자세한 내용은 Helicone 문서에서, 사용 가능한 모델은 홈페이지에서 확인할 수 있어요.
출처: 문서
본문
Colab에서 이 노트북을 열었다면 아래 통합 패키지를 설치해야 할 거예요.
참고 사항:
- Helicone API 키만 있으면 돼요(
HELICONE_API_KEY). 프로바이더 키는 필요 없어요. - 기본 base URL은
https://ai-gateway.helicone.ai/v1이에요.api_base또는HELICONE_API_BASE로 재정의할 수 있어요.
%pip install llama-index-llms-helicone
!pip install llama-index
from llama_index.llms.helicone import Helicone
from llama_index.core.llms import ChatMessage
ChatMessage 목록으로 chat 호출
HELICONE_API_KEY 환경 변수를 설정하거나 생성자에서 api_key를 전달해야 해요.
# import os
# os.environ["HELICONE_API_KEY"] = "<your-helicone-api-key>"
llm = Helicone(
api_key="<your-helicone-api-key>", # 또는 HELICONE_API_KEY 설정
model="gpt-4o-mini", # Helicone AI Gateway를 통해 라우팅
max_tokens=256,
)
message = ChatMessage(role="user", content="Tell me a joke")
resp = llm.chat([message])
print(resp)
스트리밍 (Streaming)
message = ChatMessage(role="user", content="Tell me a story in 200 words")
resp = llm.stream_chat([message])
for r in resp:
print(r.delta, end="")
API 지원 (Chat 전용, 레거시 Completions 없음)
Helicone은 OpenAI 호환 Chat Completions와 최신 Responses API를 지원해요. 레거시 Completions API는 지원하지 않아요.
LlamaIndex에서는 llm.chat(...)과 llm.stream_chat(...)을 사용하면 돼요.
모델 설정 (Model Configuration)
# Helicone이 라우팅하는 모든 OpenAI 호환 모델을 선택하세요.
# 옵션은 https://www.helicone.ai/models 참고.
# 환경에 HELICONE_API_KEY 가 설정되어 있으면 여기서 api_key는 생략해도 됩니다.
llm = Helicone(model="gpt-4o-mini")
message = ChatMessage(
role="user", content="Write one sentence about Rust dragons coding."
)
resp = llm.chat([message])
print(resp)