개요 (잔차 학습 프레임워크)
개요 (잔차 학습 프레임워크)
ResNet은 2015년 Kaiming He 외 연구진의 논문 "Deep Residual Learning for Image Recognition"(arXiv:1512.03385)에서 제안된 아키텍처예요. 더 깊은 네트워크가 오히려 훈련이 어려워지던 문제를 잔차 학습으로 풀었어요.
핵심 아이디어 — 잔차 학습
기존에는 층들이 입력을 직접 학습하는 비참조 함수(unreferenced function) 를 학습했어요. ResNet은 이를 바꿔 층 입력을 기준으로 한 잔차 함수(residual function) 를 학습하도록 명시적으로 재구성했죠.
F(x) = H(x) - x (잔차)
출력: F(x) + x (입력 우회 연결)
성과
- ImageNet — 최대 152개 층. VGG보다 8배 깊지만 복잡도는 더 낮음
- 앙상블 모델이 ImageNet 테스트셋에서 오류율 3.57% 달성
- ILSVRC 2015 분류 태스크 1위
- CIFAR-10에서 100·1000개 층 분석
- 매우 깊은 표현 덕분에 COCO 객체 검출에서 28% 상대적 개선
영향
ResNet의 잔차 연결 설계는 이후 대부분의 딥러닝 아키텍처(CNN·Transformer 포함)의 표준 도구가 됐어요.