개요 (Late Interaction과 MaxSim)
개요 (Late Interaction과 MaxSim)
ColBERT는 2020년 SIGIR에 발표된 효율적·효과적 패시지 검색 모델이에요. 문서를 토큰 단위 임베딩의 행렬로 표현하고, 쿼리도 토큰 단위 벡터 행렬로 만들어 **세밀한 상호작용(late interaction)**으로 관련성을 구해요.
핵심 아이디어
- Multi-vector 표현: 쿼리와 문서를 각 토큰마다 별도 벡터로 인코딩해요. 단일 벡터 모델보다 정보 손실이 적어요.
- MaxSim 연산: 쿼리 토큰 벡터가 문서의 어느 토큰과 가장 유사한지를 찾아 점수를 집계해요.
- 효율성: 인덱싱을 미리 하면 검색을 수십 밀리초 단위로 줄일 수 있어요.
성능
ColBERT는 단일 벡터 표현 모델보다 검색 품질이 높으면서도 대규모 코퍼스에서 효율적으로 확장돼요. BERT 기반이므로 사전훈련된 BERT를 그대로 활용해요.
후속 연구
- ColBERTv2 — NAACL'22, 잔차 압축으로 공간 절약
- PLAID — CIKM'22, late interaction 고속화 엔진
- Baleen — NeurIPS'21, 다중 홉 검색