RWKV 아키텍처와 논문 — v4부터 v7까지

RWKV 아키텍처와 논문 — v4부터 v7까지

RWKV 아키텍처는 버전을 거듭하며 발전했어요. 각 버전의 논문과 특징을 정리해서, 왜 최신 v7 시리즈가 권장되는지 살펴볼게요.

출처: https://wiki.rwkv.com/

RWKV-7 (Goose)

RWKV-7은 최신 RWKV 아키텍처예요. 논문은 2025년 3월 18일 Bo Peng과 RWKV 커뮤니티가 공동으로 발표했어요.

  • RWKV-7 Paper: "RWKV-7 Goose with Expressive Dynamic State Evolution"
  • Paper Link: arXiv:2503.14456

RWKV-7은 Dynamic State Evolution 을 채택해 어텐션/선형 어텐션 패러다임의 TC0 표현력의 근본적 한계를 넘어섰어요.

RWKV 5/6 (Eagle/Finch)

RWKV 5/6 아키텍처는 RWKV-4 아키텍처를 기반으로 여러 개선을 더했어요. 두 아키텍처는 같은 논문에 실려 있습니다.

  • RWKV 5/6 Paper: "Eagle and Finch: RWKV with Matrix-Valued States and Dynamic Recurrence"
  • Paper Link: arXiv:2404.05892

RWKV-4

RWKV-4는 RWKV 모델의 첫 공식 버전이에요. 2023년 5월 22일에 처음 발표됐고, 같은 해 10월 EMNLP 2023에 아키텍처 논문이 채택되었습니다.

  • RWKV-4 Paper: "RWKV: Reinventing RNNs for the Transformer Era"
  • Paper Link: arXiv:2305.13048

버전 상태

Version RWKV-V4 RWKV-v5-Eagle RWKV-v6-Finch RWKV-v7-Goose RWKV-v7-G1
Overall Status EOL EOL EOL EOL Continuously Updating
0.4B Model Released Released No Plan Released Released
1.5B Model Released Released Released Released Released
3B Model Released Released Released Released Released
7B Model Released Released Released No Plan Released
14B Model Released No Plan Released No Plan Released

RWKV와 Transformer의 차이

  • 장점

    • 런타임·훈련 리소스 사용(RRAM, CPU, GPU 등)이 낮다.
    • 더 큰 컨텍스트에서 Transformer보다 계산 요구가 10~100배 낮다.
    • 어떤 컨텍스트 길이로든 선형 확장을 지원(Transformer는 2차 스케일).
    • 답 품질·일반화 능력 면에서 Transformer 아키텍처만큼 성능 발휘.
    • 영어 외 언어(중국어·일본어 등) 훈련 데이터 포함으로 대부분 오픈소스 모델보다 다국어 능력 우수.

  • 단점

    • RWKV base 모델은 프롬프트 형식에 매우 민감해서 출력에 크게 영향.
    • 아키텍처 설계상 lookback/review가 필요한 태스크에 약함 — 여러 최적화 작업 중.

더 알아보기