🤗 Evaluate 소개 — 허브에서 모델 평가하기

🤗 Evaluate 소개

모델 성능을 비교하려면 "어떤 데이터·지표로 평가했는지"가 정확히 같아야 해요. 🤗 Evaluate는 그러한 재현 가능한 평가를 지원하는 Hugging Face 공식 라이브러리예요. 다양한 평가 모듈을 한 줄로 불러와 로컬이든 분산 환경이든 일관되게 측정하게 도와줍니다.

출처: https://huggingface.co/docs/evaluate/index

허브에서의 평가 방식

Hugging Face Hub에서는 여러 방식으로 모델을 평가할 수 있어요.

• Community Leaderboards — 작업·도메인별 최고 모델을 순위로 제공 (MTEB, GAIA, Open ASR 등)
• Model Cards — 작성자 관점의 모델 능력 종합 개요
• Libraries and Packages — 커스텀 모델·작업 평가를 위한 도구

🤗 Evaluate 라이브러리

• 한 줄로 수십 가지 평가 방법 사용 가능 (NLP, CV, 강화학습 등)
• 로컬·분산 학습 설정 모두 지원
• 재현 가능·일관된 평가

import evaluate
accuracy = evaluate.load("accuracy")

커뮤니티 리더보드 예시

더 알아보기

• 🤗 Evaluate 문서
• 🤗 Evaluate 퀵 투어
• 🤗 Evaluate GitHub