Ragas CLI

Ragas CLI

Ragas 명령줄 인터페이스(CLI)는 터미널에서 평가 프로젝트를 빠르게 설정하고 실험을 실행하기 위한 도구를 제공해요. 템플릿으로 완전한 평가 프로젝트를 만들고, 평가를 실행하고, 설치를 검증하는 등 간단한 명령어로 해결할 수 있어요.

출처: 문서

본문

Ragas CLI(Command Line Interface)는 터미널에서 평가 프로젝트를 빠르게 설정하고 실험을 실행하기 위한 도구를 제공해요.

설치

CLI는 ragas 패키지에 포함되어 있어요.

pip install ragas

또는 설치 없이 uvx로 실행할 수 있어요.

uvx ragas --help

사용 가능한 명령어

ragas quickstart

템플릿에서 완전한 평가 프로젝트를 만들어요. Ragas를 시작하는 가장 빠른 방법이에요.

ragas quickstart [TEMPLATE] [OPTIONS]

인자:

  • TEMPLATE: 템플릿 이름(선택). 비워두면 사용 가능한 템플릿을 볼 수 있어요.

옵션:

  • -o, --output-dir: 프로젝트를 만들 디렉토리 (기본값: 현재 디렉토리)

예제:

# 사용 가능한 템플릿 나열
ragas quickstart

# RAG 평가 프로젝트 만들기
ragas quickstart rag_eval

# 특정 디렉토리에 프로젝트 만들기
ragas quickstart rag_eval --output-dir ./my-project

ragas evals

평가 파일을 사용해서 데이터셋에서 평가를 실행해요.

ragas evals EVAL_FILE [OPTIONS]

인자:

  • EVAL_FILE: 평가 파일 경로 (필수)

옵션:

  • --dataset: 프로젝트의 데이터셋 이름 (필수)
  • --metrics: 평가할 메트릭 필드 이름의 쉼표 구분 목록 (필수)
  • --baseline: 비교할 베이스라인 실험 이름 (선택)
  • --name: 실험 실행 이름 (선택)

예제:

ragas evals evals.py --dataset test_data --metrics accuracy,relevance

ragas hello_world

설치를 검증하기 위해 간단한 hello world 예제를 만들어요.

ragas hello_world [DIRECTORY]

인자:

  • DIRECTORY: 예제를 만들 디렉토리 (기본값: 현재 디렉토리)

Quickstart 템플릿

RAG & Retrieval

Agent Evaluation

Specialized Use Cases

LLM Testing

빠른 시작

60초 안에 실행하기:

# 프로젝트 만들기
uvx ragas quickstart rag_eval
cd rag_eval

# 의존성 설치
uv sync

# API 키 설정
export OPENAI_API_KEY="your-key"

# 평가 실행
uv run python evals.py

더 알아보기 (Learn more)