개요 (세트 예측과 DETR 설계)
개요 (세트 예측과 DETR 설계)
DETR(DEtection TRansformer)은 객체 검출을 직접적인 세트 예측(set prediction) 문제로 바라보는 트랜스포머 기반 모델이에요.
핵심 아이디어
- 세트 기반 전역 손실(global loss) — 이분 매칭(bipartite matching)으로 각 객체를 고유하게 예측하도록 강제
- 트랜스포머 인코더-디코더 구조 — 이미지 컨텍스트와 객체 간 관계를 추론
- 고정된 작은 객체 쿼리 집합 — 학습된 객체 쿼리를 통해 전체 예측 셋을 병렬로 직접 출력
병렬 구조 덕분에 추론이 빠르고 효율적이에요. Faster R-CNN과 맞먹는 성능(ResNet-50, COCO 42 AP)이면서 계산량(FLOPs)은 절반인 게 특징이에요.
단순함에 대한 철학
- 객체 검출이 분류보다 어려워서는 안 된다는 주장
- 학습·추론에 복잡한 라이브러리가 필요 없도록
main.py하나로 학습 코드 구성 - 추론 자체를 PyTorch 약 50줄로 구현 가능
세그멘테이션 확장
마스크를 예측하도록 확장해 팬옵틱 세그멘테이션(panoptic segmentation)도 강력하게 지원해요.