MTEB (임베딩 벤치마크)
MTEB (임베딩 벤치마크)
MTEB(Massive Text Embedding Benchmark)은 임베딩 모델과 검색 시스템의 품질을 다양한 태스크·언어·모달리티에 걸쳐 평가하기 위한 파이썬 프레임워크예요. 텍스트뿐 아니라 이미지, 이미지-텍스트 임베딩도 평가할 수 있어요.
MTEB는 1,000개가 넘는 언어와 다양한 태스크를 커버해요. 분류·클러스터링 같은 고전 태스크부터 법률·코드·헬스케어 검색 같은 사용처 특화 태스크까지 다루죠. MTEB는 "MTEB: Massive Text Embedding Benchmark" 논문에서 소개됐고, 이후 "MMTEB: Massive Multilingual Text Embedding Benchmark"로 크게 확장됐어요. mteb를 쓸 때는 두 논문을 모두 인용하는 걸 권장해요.
핵심 개념
- 태스크(Task) — 평가의 최소 단위. 1,000개 이상 존재
- 벤치마크(Benchmark) — 태스크의 모음. 모델이 특정 용도에 적합한지 평가하는 도구
- 모델(Model) — 평가 대상.
mteb.get_model로 가져오는 걸 권장
이 카테고리의 문서
- 빠른 시작: 모델 정의·태스크 선택·평가 실행 3단계
- 모델 정의: 기존 모델 사용과 커스텀 모델 정의
- 태스크·벤치마크 선택: 태스크·벤치마크·스플릿 선택