리랭커와 검색 품질
리랭커와 검색 품질
임베딩 모델과 달리 리랭커(reranker)는 질의와 문서를 함께 입력받아 유사도 점수를 직접 내놓는 cross-encoder예요. 임베딩을 만들 수 없다는 차이점이 있지만, 검색 정확도와 비용의 균형을 잡을 때 아주 유용해요.
BAAI는 리랭커 모델로 BAAI/bge-reranker-base와 BAAI/bge-reranker-large를 공개했어요. 임베딩 모델보다 더 강력하고, 검색 파이프라인에서 흔히 이렇게 써요. 먼저 bge 임베딩 모델로 관련 문서 상위 100개를 뽑고, 그 100개를 bge reranker로 다시 정렬해 최종 상위 3개를 얻는 식이죠.
임베딩으로 대량 후보를 빠르게 좁히고, 리랭커로 그 소수 후보만 정밀하게 재정렬하는 2단계 구조는 비용과 정확도를 모두 잡는 표준적인 패턴이에요. cross-encoder는 문서 쌍마다 모델을 돌려야 해서 느리지만 정확하므로, 좁힌 후보에만 적용하는 게 핵심이에요.