논문 (CVPR 2024, YOLO-World 설계)
논문 (CVPR 2024, YOLO-World 설계)
YOLO-World 논문 제목은 "YOLO-World: Real-Time Open-Vocabulary Object Detection" (arXiv:2401.17270, CVPR 2024)이에요. 저자는 Tianheng Cheng, Lin Song, Yixiao Ge, Wenyu Liu, Xinggang Wang, Ying Shan이에요 (Tencent AI Lab, ARC Lab Tencent PCG, HUST).
핵심 아이디어
기존 오픈 보캐뷸러리 검출기는 얼리 융합(Early Fusion) 때문에 각 프롬프트마다 정방향(forward) 연산을 다시 해야 해서 느렸어요. YOLO-World는 프롬프트 추출과 객체 검출을 분리하는 방식으로 이 문제를 풀어요.
- Text Encoder → 어휘 임베딩 추출: 클래스 이름을 텍스트 인코더로 벡터화해요.
- 온라인 어휘 재파라미터화(Online Vocabulary Reparameterization): 어휘 임베딩을 YOLO의 파라미터로 재파라미터화해, 추론 시 추가 연산 없이 오픈 보캐뷸러리 검출을 수행해요.
- 결과적으로 실시간 추론이 가능한 강력한 grounding 능력을 확보해요.
모델 크기
YOLO-World는 S, M, L, X 크기를 제공해요. 모델 카드에 LVIS·LVIS-mini·COCO 제로샷 결과와 사전훈련/계속학습(PT/CPT) 가중치 링크가 정리돼 있어요.
라이선스
코드는 오픈소스로 공개되며, 상업 라이선스 문의는 Tencent로 연락하도록 안내돼요.