Hybrid Search 실전·API — 융합 방법과 가중치
Hybrid Search 실전·API
하이브리드 검색의 핵심은 두 검색 결과를 어떻게 합치는지(융합) 와 **각 축을 얼마나 신뢰할지(가중치)**예요. 이 블로그에서 다루는 원리를 실전 관점에서 정리할게요.
벡터 vs 키워드의 상호 보완
- 벡터 검색은 의미적으로 가까운 문서를 찾아요
- 키워드 검색은 표면적으로 일치하는 문서를 찾아요
예를 들어 정확한 제품 코드·브랜드명을 찾을 때는 키워드가, 같은 뜻을 다른 표현으로 쓴 문단을 찾을 때는 벡터가 유리해요. 둘을 합치면 서로의 실패 사례를 상쇄해요.
RRF(Reciprocal Rank Fusion)
대표적인 융합 방법이 RRF예요. 각 결과 집합의 순위를 역수로 바꿔 점수를 합산해요.
score_RRF(d) = Σ 1 / (k + rank_i(d))
여기서 k는 보통 60 근처의 상수예요. 두 검색의 점수 척도가 달라도 순위 기반이라서 공정하게 합칠 수 있는 게 장점이에요.
가중치 조절하기
가중치(예: Weaviate alpha)로 어느 축을 우선할지 정해요. 도메인에 따라 "정확한 용어 우선" vs "의미 유사 우선"이 달라지니, 검증 데이터로 가중치를 튜닝하는 식으로 운영하면 돼요.