🤗 Evaluate 퀵 투어 — evaluate.load()와 evaluator

🤗 Evaluate 퀵 투어

🤗 Evaluate는 metric·comparison·measurement 같은 평가 모듈을 Hub에서 관리해요. 어떤 모듈이든 하나의 진입점 evaluate.load()로 불러올 수 있어요. 이 페이지에서는 그 사용법을 따라가 봅니다.

출처: https://huggingface.co/docs/evaluate/en/a_quick_tour

모듈 불러오기

모든 metric·comparison·measurement는 evaluate.load()로 불러와요. 이름 충돌이 우려되면 타입을 명시할 수도 있어요.

>>> import evaluate
>>> accuracy = evaluate.load("accuracy")

사용 가능한 모듈 목록

list_evaluation_modules로 타입별 모듈을 확인할 수 있어요.

>>> evaluate.list_evaluation_modules(
...     module_type="comparison",
...     include_community=False,
...     with_details=True)

모듈 속성

각 모듈은 description, citation, features, license, reference_urls 같은 속성을 가져요. 예:

>>> accuracy.description
Accuracy is the proportion of correct predictions among the total number of cases processed.

Evaluator

evaluator()로 transformers pipeline과 metric을 묶어 평가할 수 있어요. 현재는 text-classification 작업을 지원해요.

from transformers import pipeline
from datasets import load_dataset
from evaluate import evaluator
import evaluate

pipe = pipeline("text-classification", model="lvwerra/distilbert-imdb", device=0)
data = load_dataset("imdb", split="test").shuffle().select(range(1000))
metric = evaluate.load("accuracy")

task_evaluator = evaluator("text-classification")
results = task_evaluator.compute(model_or_pipeline=pipe, data=data, metric=metric,
                                 label_mapping={"NEGATIVE": 0, "POSITIVE": 1})
print(results)  # {'accuracy': 0.934}