ColPali 모델 — HF 에서 내려받기

ColPali 모델

ColPali(ColPali-v1.2) 모델은 Hugging Face 의 vidore/colpali-v1.2 리포에서 받을 수 있습니다. 비전 언어 모델 기반 시각 문서 리트리버로, 사전 학습된 체크포인트와 함께 제공됩니다.

출처: ColPali-v1.2 — Hugging Face

쓰는 방법

colpali-engine 패키지를 설치하고 Hugging Face 의 transformers 허브에서 모델·프로세서를 로드해 사용합니다. 문서는 이미지(페이지 렌더)로, 쿼리는 텍스트로 입력하며, 둘 다 멀티벡터 임베딩으로 변환된 뒤 점수 계산으로 검색 순위를 냅니다.

from transformers import AutoModel, AutoProcessor

model = AutoModel.from_pretrained("vidore/colpali-v1.2")
processor = AutoProcessor.from_pretrained("vidore/colpali-v1.2")

특징 요약

  • OCR 이나 레이아웃 인식 단계 없이 페이지를 통째로 처리.
  • 텍스트와 레이아웃·차트 같은 시각 정보를 함께 임베딩.
  • fast-plaid 로 대규모 컬렉션 매칭 가속.

더 알아보기