TruLens로 평가하고 추적하기
TruLens로 평가하고 추적하기 (Evaluating and Tracking with TruLens)
LlamaIndex로 만든 LLM 앱을 TruLens으로 평가하고 추적하는 방법을 다루는 페이지예요. 관련성이나 감성 같은 피드백 함수 평가, 비용과 지연 시간까지 포함한 상세 추적을 제공해요.
출처: 문서
본문
TruLens란 무엇인가요?
TruLens는 LLM(대형 언어 모델) 기반 애플리케이션을 위한 계측(instrumentation)과 평가 도구를 제공하는 오픈소스 패키지예요. 여기에는 관련성·감성 등을 평가하는 피드백 함수 평가, 비용과 지연 시간을 포함한 세밀한 추적이 포함돼요.
LLM 앱의 새 버전을 반복해서 만들면서, 설정해 둔 다양한 품질 지표에 대해 성능을 비교할 수 있어요. 평가 결과를 레코드 단위로 보거나, 각 레코드의 앱 메타데이터도 탐색할 수 있어요.
설치와 설정
TruLens를 추가하는 건 간단해요. pypi에서 설치하면 돼요.
터미널 창
pip install trulens-eval
from trulens_eval import TruLlama
직접 해보기
