ColBERTv2 (잔차 압축과 denoised supervision)
ColBERTv2 (잔차 압축과 denoised supervision)
ColBERTv2는 2022년 NAACL에 발표된 ColBERT의 후속 모델이에요. late interaction의 공간 사용량을 58배(일부 보고 610배) 줄이면서도 품질은 오히려 올린 게 핵심이에요.
핵심 기법
- 잔차 압축(residual compression): 토큰 벡터를 원본 대신 **잔차(residual)**만 적극적으로 압축해 저장해요.
- denoised supervision: 크로스 인코더의 distillation과 하드 네거티브 마이닝을 결합해 학습 신호를 정제해요.
성능
- MS MARCO Passage Ranking으로 훈련했을 때 MRR@10 기준 독립 retriever 중 최고 성능을 냈어요.
- 훈련 영역 안팎 모두에서 SOTA 품질을 보여주면서도, 단일 벡터 모델과 경쟁 가능한 공간 사용량을 유지해요.
활용
ColBERTv2 체크포인트는 DSPy 프레임워크에서 retriever로 자주 조합돼요. 공식 저장소에서 MS MARCO로 훈련된 사전훈련 체크포인트를 제공해요.