RoFormer 논문 — Rotary Position Embedding 제안
RoFormer 논문 — Rotary Position Embedding 제안
RoFormer 논문은 어텐션 메커니즘에 위치 정보를 넣는 새로운 방법 Rotary Position Embedding(RoPE) 를 제안해요. 기존의 절대 위치 임베딩은 임베딩에 벡터를 더하는 방식이었는데, RoPE는 쿼리·키 벡터를 회전 행렬로 돌려 상대 위치 의존성을 내재시켜요.
핵심 아이디어
- 임베딩 차원을 2D 쌍으로 나누고, 각 쌍을 위치에 비례한 각도로 회전해요.
- 회전 각도는
θ = 10000^(2i/d)같은 스케일로 주파수를 나눠요. - 쿼리·키를 모두 같은 각도로 돌리면, 어텐션 점수에 키-쿼리 위치 차이(상대 위치) 가 자연스럽게 들어가요.
장점
- 상대 위치: 어텐션 수식에 상대 거리만 남아 더 유연해요.
- 길이 확장: 수학적으로 시퀀스 길이 제약이 느슨해 긴 컨텍스트 확장에 유리해요.
- 거리 감쇠: 상대 거리가 멀수록 어텐션이 자연히 작아지는 특성이 있어요.