빠른 시작 (3단계 평가)
빠른 시작 (3단계 평가)
MTEB에서 모델을 평가하는 방법은 크게 세 단계예요. 모델을 정의하고, 태스크를 선택하고, 평가를 실행하면 됩니다.
1) 모델 정의
mteb.evaluate가 SentenceTransformers를 직접 지원하지만, 공식 문서에서는 mteb.get_model로 모델을 가져오는 걸 권장해요. 이 방식이 mteb 자체 구현을 우선시하는데, SentenceTransformers 구현과 1:1로 일치하지 않을 수 있거든요. 리더보드 결과는 mteb 구현을 참조 구현으로 봐요.
2) 태스크 선택
MTEB는 태스크·벤치마크·스플릿을 고를 수 있어요. 처음에는 미리 정의된 벤치마크 중 하나로 시작하는 걸 권장해요.
3) 평가 실행
다음과 같이 벤치마크와 모델을 가져와 mteb.evaluate에 넘기면 돼요.
import mteb
benchmark = mteb.get_benchmark("MIEB(eng)")
model = mteb.get_model("openai/clip-vit-base-patch16") # example model
results = mteb.evaluate(model, tasks=benchmark)
mteb는 텍스트만 평가하는 게 아니라 이미지와 이미지-텍스트 임베딩도 평가할 수 있어요. 모달리티를 고려해 모델과 벤치마크를 고르면 돼요.
설치
설치는 pip 또는 uv로 간단하게 할 수 있어요.
pip install mteb