LlamaIndex 에이전트 평가 퀵스타트

LlamaIndex 에이전트 평가 퀵스타트 (LlamaIndex Agent Evaluation Quickstart)

llamaIndex_agent_evals 템플릿은 도구 호출 정확도 메트릭으로 LlamaIndex 워크플로우 에이전트를 평가해요. 프로젝트 생성부터 F1 점수 기반 도구 호출 정확도 평가까지 진행할 수 있어요.

출처: 문서

본문

llamaIndex_agent_evals 템플릿은 tool call accuracy 메트릭으로 LlamaIndex 워크플로우 에이전트를 평가해요.

프로젝트 만들기

ragas quickstart llamaIndex_agent_evals
cd llamaIndex_agent_evals

의존성 설치

uv sync

API 키 설정

export OPENAI_API_KEY="your-openai-key"
export GOOGLE_API_KEY="your-google-key"  # 평가기 LLM용

평가 실행

uv run python evals.py

프로젝트 구조

llamaIndex_agent_evals/
├── README.md              # Project documentation
├── pyproject.toml         # Project configuration
├── llamaindex_agent.py    # LlamaIndex agent with tools
├── evals.py               # Evaluation workflow
├── __init__.py            # Python package marker
└── evals/
    ├── datasets/
    │   └── contexts/      # Test context files (JSON)
    ├── experiments/       # Evaluation results
    └── logs/              # Execution logs

무엇을 평가하나

템플릿은 LlamaIndex 에이전트의 도구 호출 정확도를 평가해요.

  • Agent: 목록 관리 도구(추가, 제거, 목록 표시)가 있는 LlamaIndex FunctionAgent
  • Test Cases: 중복 추가, 모호한 제거 요청 같은 복잡한 시나리오
  • Metrics: 도구 호출 정확도, 응답 정확도

코드 이해하기

에이전트 (llamaindex_agent.py)

간단한 도구가 있는 LlamaIndex 에이전트:

from llama_index.core.agent.workflow import FunctionAgent

agent = FunctionAgent(
    name="list_manager",
    tools=[add_item, remove_item, list_items],
    llm=llm
)

평가 (evals.py)

F1 점수로 도구 호출 정확도를 테스트해요.

@numeric_metric(name="tool_call_accuracy")
def tool_call_accuracy_metric(predicted_calls: List[Dict], ground_truth_calls: List[Dict]):
    # 예측 vs ground truth 도구 호출 비교
    # 0.0에서 1.0 사이의 F1 점수 반환

테스트 데이터

템플릿은 evals/datasets/contexts/에 JSON 테스트 컨텍스트를 포함해요.

  • ambiguous_removal_request.json - 모호한 요청 처리 테스트
  • duplicate_addition.json - 중복 작업 처리 테스트
  • repeated_removal.json - 반복 작업 테스트

더 알아보기 (Learn more)