SAM 2 (이미지·비디오 확장)
SAM 2 (이미지·비디오 확장)
Segment Anything Model 2(SAM 2)는 SAM을 이미지는 물론 비디오로 확장한 후속 모델이에요. 이미지를 "단일 프레임 비디오"로 보고 처리하는 설계를 채택했어요.
핵심 특징
- 프롬프트형 시각 세그멘테이션을 이미지와 비디오 양쪽에서 해결
- 스트리밍 메모리를 가진 간단한 트랜스포머 구조로 실시간 비디오 처리 지원
- SA-V 데이터셋 — model-in-the-loop 데이터 엔진으로 구축한, 당시까지 가장 큰 비디오 세그멘테이션 데이터셋
- 강력한 성능을 다양한 태스크·비주얼 도메인에 제공
관련 자료
- SAM 2 코드: https://github.com/facebookresearch/segment-anything-2
- SAM 2 데모: https://sam2.metademolab.com/
- SAM 2 논문: https://arxiv.org/abs/2408.00714
SAM과의 관계
SAM 2 아키텍처 다이어그램을 보면, 비디오의 시간적 흐름을 다루는 스트리밍 메모리 블록이 추가된 구조예요. 이미지 세그멘테이션도 하나의 프레임으로 처리해 같은 모델로 통합했어요.