TruLens 퀵스타트 — RAG 앱 추적하고 피드백 받기

TruLens 퀵스타트

이 퀵스타트에서는 RAG 앱을 처음부터 만들고, 실행을 추적한 뒤 LLM 응답에 대한 피드백을 받아요. 평가에는 "환각 트라이어드(hallucination triad)"인 groundedness·context relevance·answer relevance를 사용합니다.

출처: https://www.trulens.org/getting_started/quickstarts/quickstart

설치

!pip install trulens trulens-providers-openai chromadb openai

데이터 준비와 벡터 스토어

문서를 불러와 벡터 스토어를 만들고, RAG 앱을 구성해요. OpenAI API 키를 환경변수에 설정합니다.

import os

if "OPENAI_API_KEY" not in os.environ:
    os.environ["OPENAI_API_KEY"] = "sk-proj-..."

피드백 함수(Feedback Functions)

평가에 쓸 피드백 함수를 정의하고 TruApp에 연결해요.

from trulens.core import Metric, Selector

f_relevance = Metric(
    implementation=provider.relevance_with_cot_reasons,
    name="Answer Relevance",
    selectors={
        "prompt": Selector.select_record_input(),
        "response": Selector.select_record_output(),
    },
)

앱 실행과 결과 확인

컨텍스트 매니저로 앱을 실행하면 자동으로 추적과 평가가 이뤄져요. 리더보드에서 결과를 확인할 수 있습니다.

with tru_rag as recording:
    for query in test_queries:
        rag.query(query)

session.get_leaderboard()

더 알아보기

• TruLens 퀵스타트
• TruLens 설치
• TruLens 홈