FlashRank 소개 — 초경량 리랭커

FlashRank 소개 — 초경량 리랭커

FlashRank 는 검색 결과를 재정렬(리랭킹)해 주는 매우 가볍고 빠른 파이썬 라이브러리예요. "가장 관련성 높은 LLM"을 골라내기 전에 검색·검색 증강 파이프라인의 후보를 정렬해줘요.

핵심 특징

초경량: Torch 나 Transformers 불필요. CPU 만으로 동작.
세계 최소형 리랭킹 모델 제공(~4MB, ms-marco-TinyBERT-L-2-v2).
초고속: 토큰 수×모델 깊이에 비례해 빠르게 리랭킹.
비용 효율: Lambda 같은 서버리스가 메모리×시간으로 청구되므로 작은 패키지가 유리.
SoTA 크로스 인코더·모델 기반: MS-MARCO 튜닝 크로스 인코더, RankT5, 다국어 BERT 등 지원.

지원 유형

Pairwise/Pointwise 리랭커: 크로스 인코더 기반(최대 512 토큰).
Listwise LLM 리랭커: LLM 기반(최대 8192 토큰, rank_zephyr_7b 등).

지원 모델 예

ms-marco-TinyBERT-L-2-v2(기본, ~4MB).
ms-marco-MiniLM-L-12-v2(최고 성능 크로스 인코더, ~34MB).
rank-T5-flan(최고 zeroshot, ~110MB).
ms-marco-MultiBERT-L-12(100+ 언어 다국어, ~150MB).
rank_zephyr_7b_v1_full(4-bit GGUF, ~4GB, LLM 리랭커).

더 알아보기 (Learn more)

출처: FlashRank GitHub