RWKV — RNN 기반 선형복잡도 LLM 모델
RWKV — RNN 기반 선형복잡도 LLM 모델
RWKV(발음 RWaKuV)는 GPT 수준의 LLM 성능을 내면서도 Transformer처럼 병렬화해 직접 훈련할 수 있는 RNN 이에요. RNN과 Transformer의 장점을 결합해서 성능이 뛰어나고, 메모리 사용이 상수이며, 추론 생성 속도가 일정하고, '무한' 컨텍스트 길이와 무료 문장 임베딩을 제공하며, 100% self-attention이 없습니다.
RWKV 프로젝트는 Bo Peng(Blink_DL)가 처음 제안했고, 2023년 9월 20일 오픈소스 프로젝트로 Linux Foundation에 공식 가입했어요. 최신 아키텍처는 RWKV-7 'Goose' 로, 선형 시간·상수 공간(no kv-cache)·어텐션 프리·100% RNN 구조가 특징입니다. 아래 페이지에서 아키텍처, 모델 선택, 훈련·추론을 살펴볼게요.