Helicone

이 노트북은 RAG(Retrieval-Augmented Generation) 시스템 모니터링·평가를 위해 Helicone을 Ragas와 통합하는 방법을 보여줘요.

출처: 문서

본문

사전 준비

시작하기 전에 Helicone 계정과 API 키가 있는지 확인하세요.

Helicone에 로그인하거나 계정이 없으면 만드세요.
로그인 후 Developer 섹션으로 이동해 API 키를 생성하세요.

Note : 쓰기 전용(write-only) API 키를 생성하도록 하세요. Helicone 인증에 대한 자세한 내용은 Helicone Auth 문서를 참고하세요.

Helicone API 키를 안전하게 보관하세요. 통합에 필요해요.

설정

먼저 필요한 패키지를 설치하고 환경을 설정해 볼게요.

!pip install datasets ragas openai

import os

from datasets import Dataset

from ragas import evaluate
from ragas.integrations.helicone import helicone_config  # import helicone_config
from ragas.metrics import answer_relevancy, context_precision, faithfulness

# Set up Helicone
HELICONE_API_KEY = (
    "your_helicone_api_key_here"  # Replace with your actual Helicone API key
)
helicone_config.api_key = HELICONE_API_KEY
os.environ["OPENAI_API_KEY"] = (
    "your_openai_api_key_here"  # Replace with your actual OpenAI API key
)

# Verify Helicone API key is set
if HELICONE_API_KEY == "your_helicone_api_key_here":
    raise ValueError(
        "Please replace 'your_helicone_api_key_here' with your actual Helicone API key."
    )

데이터 준비

RAG 시스템 평가를 위한 샘플 데이터를 준비해 보겠습니다.

data_samples = {
    "question": ["When was the first Super Bowl?", "Who has won the most Super Bowls?"],
    "answer": [
        "The first Super Bowl was held on January 15, 1967.",
        "The New England Patriots have won the most Super Bowls, with six championships.",
    ],
    "contexts": [
        [
            "The First AFL–NFL World Championship Game, later known as Super Bowl I, was played on January 15, 1967, at the Los Angeles Memorial Coliseum in Los Angeles, California."
        ],
        [
            "As of 2021, the New England Patriots have won the most Super Bowls with six championships, all under the leadership of quarterback Tom Brady and head coach Bill Belichick."
        ],
    ],
    "ground_truth": [
        "The first Super Bowl was held on January 15, 1967.",
        "The New England Patriots have won the most Super Bowls, with six championships as of 2021.",
    ],
}

dataset = Dataset.from_dict(data_samples)
print(dataset)

Ragas로 평가

이제 Ragas로 RAG 시스템을 평가해 보겠습니다. 이 평가 중에 이루어진 API 호출은 Helicone이 자동으로 로깅해요.

# Evaluate using Ragas
score = evaluate(dataset, metrics=[faithfulness, answer_relevancy, context_precision])

# Display results
print(score.to_pandas())

Helicone에서 결과 보기

Ragas 평가 중 이루어진 API 호출은 Helicone에 자동으로 로깅돼요. Helicone 대시보드에서 이 로그를 보고 RAG 시스템의 성능·동작에 대한 인사이트를 얻을 수 있어요.

결과를 보려면:

Helicone 대시보드로 이동
'Requests' 섹션으로 이동
Ragas 평가 중 이루어진 API 호출이 보일 거예요

이 로그를 분석하면 다음을 이해할 수 있어요.

평가 중 이루어진 API 호출 수
각 호출의 성능(레이턴시, 사용 토큰 등)
평가 중 발생한 오류·이슈

이 통합을 통해 RAG 시스템 평가의 Ragas 파워와 Helicone의 견고한 모니터링·분석 기능을 결합할 수 있어요.

더 알아보기 (Learn more)

통합 목록