HF RoFormer 모델 문서 — RoPE를 적용한 모델

HF RoFormer 모델 문서 — RoPE를 적용한 모델

RoFormer 는 Hugging Face Transformers 에 등록된, RoPE(Rotary Position Embedding) 를 도입한 트랜스포머 모델이에요. 이 문서는 모델 구조와 config 파라미터를 설명해요.

특징

• 입력 임베딩을 2D 공간에서 회전시켜 절대 위치를 추적하고 상대 위치를 모델링해요.
• 긴 시퀀스로 확장이 가능하고, 토큰 의존성 감쇠·선형 어텐션과도 잘 맞아요.
• rotary_value 옵션으로 밸류 레이어에 RoPE를 적용할지 정할 수 있어요.

핵심 config

• max_position_embeddings, hidden_size, num_hidden_layers 등 표준 파라미터.
• rotary_value: 어텐션 밸류에 로터리를 적용할지 여부.

사용

from transformers import RoFormerModel
model = RoFormerModel.from_pretrained("junnyu/roformer_chinese_base")

더 알아보기

• HF RoFormer 모델 문서
• RoFormer 논문 (arXiv 2104.09864)