RWKV 모델 선택과 네이밍 규칙

RWKV는 아키텍처 버전별로 다양한 파라미터 규모의 오픈소스 모델을 내놓았어요. 어떤 모델을 골라야 할지, 그리고 모델 이름이 무엇을 뜻하는지 살펴볼게요.

출처: https://raw.githubusercontent.com/RWKV/RWKV-wiki/main/docs/README.md

어떤 모델을 써야 할까

성능 문제로 인해 모든 RWKV-6/5/4 시리즈 모델(Raven / World / Pile ...)과 그 이전 버전은 end-of-life(EOL) 에 도달했어요. 기존 모델은 아카이브로만 남습니다. 모델을 고를 때 이렇게 하세요.

가장 최신 아키텍처를 선택하세요 (예: RWKV7 > RWKV6).
더 나은 데이터셋의 모델을 선택하세요. 데이터셋 품질 순위: G1c > G1b(G0b) > G1(G0).
모델 이름의 날짜를 확인하세요. 같은 파라미터라면 새 모델일수록 좋아요. 예: 1.5B 모델에서 20260110 에 릴리스된 G1c 버전이 250429 의 G1 버전보다 확실히 우수합니다.

최신 모델은 Hugging Face의 BlinkDL/rwkv7-g1 에서 내려받을 수 있어요.

Concept	Description
state	RWKV는 RNN 아키텍처의 변형. 추론 중 타임 스텝 간 전달되는 숨은 상태로, 과거 컨텍스트 정보를 유지
ChatRWKV	RWKV 기반 공식 챗봇 (ChatGPT 유사). 코드는 여기
RWKV-4/5/6/7	RWKV의 다양한 아키텍처 버전. 최신 RWKV-7 시리즈 권장
RWKV World	100개 이상 언어 데이터로 훈련된 base 모델. 넓고 다양한 데이터셋 + 일부 instruction tuning 포함
RWKV7-G1 (Goose One)	RWKV-7 아키텍처 + World v3.5 데이터셋으로 훈련된 base 모델. reasoning/thinking(Think) 지원, 더 강한 성능

G1 모델 명명 형식:

Field	Meaning
rwkv7a / rwkv7	모델 아키텍처 버전. rwkv7이 최신 base 아키텍처; rwkv7a는 위에 DE 메커니즘, rwkv7b는 DE와 DEA를 추가
0.1b / 7.2b	파라미터 규모. 'B'는 Billions
g1b / g0a2 / g1a3	훈련 데이터 버전. 품질 순위 G1c > G1b(G0b) > G1(G0)
20250819 / 20251005	모델 릴리스 날짜
ctx4096/ctx8192	사전 훈련된 컨텍스트 길이

World 모델 명명 형식:

Field	Meaning
RWKV	모델 이름
x060 / X070	아키텍처. X060 = RWKV6, X070 = RWKV7
World	데이터셋 유형. World 데이터셋은 100개 이상 전 세계 언어 포함, 다국어 태스크 지원
3B / 0.1B	파라미터 규모, 'B'는 Billions
v2.1 / v2.8	훈련 세트 버전. v2 ≈ 1.1T, v2.1 ≈ 2.5T, v3 ≈ 5.6T
20240208 / 20231113	모델 릴리스 날짜
ctx4096	사전 훈련된 컨텍스트 길이