RoPE — 회전 행렬로 위치 정보를 주입하는 Rotary Position Embedding
Rotary Position Embedding (RoPE)
RoPE(Rotary Position Embedding) 는 토큰 임베딩을 복소수 평면에서 회전시켜 절대 위치를 인코딩하는 위치 임베딩 기법이에요. 회전 각도가 위치에 따라 달라져 상대 위치 의존성이 자연스럽게 어텐션 수식에 들어가요. 긴 시퀀스로 확장이 용이하고 Llama·Gemma 같은 현대 LLM의 표준 위치 인코딩이에요.
이 카테고리의 문서
- 개요: RoFormer 논문 — RoPE 제안
- 핵심 기능: HF Rotatory Embeddings 유틸 — 구현·rope_type
- 실전·API: HF RoFormer 모델 문서 — RoPE 적용 모델