ColPali 사용법 — 빠른 시작 코드

ColPali 사용법

관련 논문(arxiv 2407.01449)의 코드로, ColPali 비전 리트리버 학습·실행을 담은 저장소입니다.

출처: ColPali README — 공식문서

빠른 시작(Quick start)

쿼리와 문서 이미지를 각각 프로세서로 처리해 모델에 넣고, score_multi_vector 로 점수를 계산합니다.

batch_queries = processor.process_queries(queries).to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)

scores = processor.score_multi_vector(query_embeddings, image_embeddings)

큰 코퍼스에서 더 빠르게 — fast-plaid

큰 컬렉션을 대상으로 매칭을 빠르게 하려면 plaid extra 로 fast-plaid 를 설치합니다.

# !pip install "colpali-engine[plaid]"

dataloader = DataLoader(
    dataset=images,
    batch_size=4,
    shuffle=False,
    collate_fn=lambda x: processor.process_images(x),
)

ds = []
for batch_doc in tqdm(dataloader):
    with torch.no_grad():
        ...

더 알아보기