LAVIS와 BLIP-2 활용

LAVIS에서 가장 주목받는 모델 중 하나가 BLIP-2예요. 사전 학습된 비전 모델과 대규모 언어 모델(LLM)을 연결해, 이미지를 설명하거나 질문에 답하는 능력을 LLM 위에 얹는 구조죠. LAVIS 문서의 모듈 구조를 이해하면 이런 모델을 자유자재로 붙일 수 있어요.

출처: LAVIS docs

BLIP-2는 사전 학습된 비전 모델과 LLM의 발전을 그대로 활용하는 효율적인 파이토닝 전략을 써요. 자체 학습이 아니라, 이미 만든 비전 인코더와 LLM을 쿼리 변환기(Q-Former)로 연결해서 이미지 정보를 LLM이 읽을 수 있는 형태로 바꿔줘요.

이 덕분에 BLIP-2는 zero-shot VQAv2에서 Flamingo를 앞서는 성능을 보였고, NoCaps zero-shot 캡셔닝에서도 기존 최고를 넘었어요. OPT나 FlanT5 같은 강력한 LLM을 장착하면, 지시 기반(instructed) 비전-투-언어 생성도 가능해져서 이미지를 설명하라는 지시를 내리는 방식으로 다양한 응용을 만들 수 있어요.

LAVIS는 이 모델을 재사용하기 쉽게 설계돼 있어요. datasets, models, preprocessors 같은 모듈을 분리해서, 원하는 모델과 전처리를 조합하거나 새로운 모듈을 추가할 수 있어요. 프로젝트를 진행하다 보면 blip2 계열 모델 이름과 함께, 부착할 LLM(예: OPT, FlanT5)을 선택하는 옵션을 만나게 되는데, 그때 이 구조를 떠올리면 이해가 빨라져요.

데이터셋 준비가 번거로운 경우를 위해 자동 다운로드 도구도 제공해요. 다양한 언어-비전 데이터셋을 손쉽게 받아 실험을 재현·확장할 수 있어요.