LlamaIndex 통합

LlamaIndex 통합 (LlamaIndex)

LlamaIndex와 AgentOps를 함께 연결해서, LLM 기반의 컨텍스트 증강 생성형 AI 애플리케이션을 만드는 프레임워크를 손쉽게 관찰(observability)할 수 있게 해주는 문서예요. 자동 계측(instrumentation) 덕분에 코드를 거의 추가하지 않고도 추적이 가능해요.

출처: 문서

본문

LlamaIndex는 LLM과 함께 컨텍스트를 증강한 생성형 AI 애플리케이션을 만드는 프레임워크예요. AgentOps는 자동 계측(automatic instrumentation)을 통해 LlamaIndex 애플리케이션에 대한 가시성(observability)을 제공해요. 여러분의 애플리케이션이 어떻게 동작하는지 대시보드에서 한눈에 확인할 수 있게 되는 거죠.

1. AgentOps SDK 설치하기

pip install agentops

poetry add agentops

2. LlamaIndex AgentOps 계측 모듈 설치하기

pip install llama-index-instrumentation-agentops

poetry add llama-index-instrumentation-agentops

3. 코드 2줄 추가하기

어떤 openai, cohere, crew 등의 모델을 호출하기 전에 agentops.init을 먼저 호출해 주세요.

from llama_index.core import set_global_handler

# NOTE: AgentOps 환경 변수(예: 'AGENTOPS_API_KEY')를 설정하거나,
# AgentOps 문서에 설명된 대로 set_global_handler의 **eval_params로
# AgentOps의 AOClient가 기대하는 키워드 인자를 넘겨주셔도 돼요.

set_global_handler("agentops")

API 키는 .env 변수로 설정해 두면 편하게 쓸 수 있어요.

AGENTOPS_API_KEY=<YOUR API KEY>

환경 변수에 대한 더 자세한 내용은 Advanced Configuration 문서를 참고하세요.

4. LlamaIndex 애플리케이션 실행하기

프로그램을 실행하고 app.agentops.ai/drilldown에 접속해서 LlamaIndex 애플리케이션을 관찰해 보세요! 🕵️

실행을 마치면 AgentOps가 콘솔에 대시보드의 세션으로 바로 연결되는 클릭 가능한 URL을 출력해 줘요.

사용 패턴 (Usage Pattern)

LlamaIndex와 함께 AgentOps를 사용하는 간단한 예시를 살펴볼게요:

from llama_index.core import set_global_handler
import llama_index.core

# 글로벌 핸들러를 AgentOps로 설정
set_global_handler("agentops")

# LlamaIndex 애플리케이션 코드 작성
# AgentOps가 LLM 호출과 기타 작업을 자동으로 추적해 줘요

추가 자료 (Additional Resources)

LlamaIndex의 관찰 기능(observability)과 AgentOps 통합에 대한 더 자세한 내용은 LlamaIndex documentation을 확인해 보세요.

LlamaIndex 통합