AI・機械学習
上級
RWKVモデル（アールダブリューケーブイモデル）
BlinkDLが開発したRNN系LLMアーキテクチャ。学習はTransformerと同じ並列処理、推論はRNN再帰で定数メモリを実現する。RWKV-6-14BはLlama 2と競合し、rwkv.cppでCPU単体動作も可能。
0 回閲覧
0 いいね
2026/6/8 更新
関連タグ
RNN
Transformer
線形アテンション
CPUインファレンス
LLM
RWKV とは
RWKV（Receptance Weighted Key Value）はBo Peng（BlinkDL）らが開発したLLMアーキテクチャ。Transformerの学習並列性とRNNの線形推論効率を組み合わせた設計で「Transformer + RNNのハイブリッド」と呼ばれることが多い。
アーキテクチャ構成
RWKVの各レイヤーは2つのサブブロックで構成：
Time-Mixing（アテンション代替）
wt = exp(−exp(w)) # 時間減衰重み（学習可能）
kt = Wk · xt # Key
vt = Wv · xt # Value
rt = Wr · xt # Receptance（ゲート）
WKVt = (Σ exp(u+kt) · vt) / (Σ exp(u+kt)) # Weighted Key-Value
ot = σ(rt) ⊙ WKVt
- w（時間減衰）: 位置に依存せずトークンの相対的古さを制御。学習可能。
- u（ボーナス重み）: 現在トークン専用の追加重み（アテンションのself-biasに相当）
- Receptance: 過去情報をどれだけ取り込むかを制御するゲート
Channel-Mixing（FFN代替）
Time-Mixingで得た出力をチャンネル方向で変換。TransformerのFFNに相当するが、入力を前時刻と線形補間する差分機構を持つ。
学習と推論の二面性
| フェーズ | 処理方式 | 理由 |
|---|---|---|
| 学習 | 並列スキャン（Transformer同様） | WKV累積をprefixスキャンで一括計算 |
| 推論 | RNN再帰（O(1)メモリ） | 前状態のみ保持、KVキャッシュ不要 |
これにより学習はFlashAttention並みの効率で行いながら、推論は固定サイズの隠れ状態のみ保持してトークンを逐次生成できる。
バージョン履歴
| バージョン | 改善点 |
|---|---|
| RWKV-4 | 最初の大規模公開版、14Bまで |
| RWKV-5（Eagle） | 多ヘッド化、多言語（World）対応 |
| RWKV-6（Finch） | LoRA学習効率向上、State Tuning |
| RWKV-7（Goose） | 学習ダイナミクス改善、2025年 |
性能
- RWKV-6-14Bはwikitext-103・Pile perplexityでLlama 2 13B相当
- 長文脈（>8K）ではKVキャッシュなしのメモリ優位性が顕著
- 推論速度：A100上でTGI（vLLM）比同等〜1.5倍（短文脈は差少、長文脈でRWKV優位）
CPU推論：rwkv.cpp
Gerganov（llama.cpp開発者）の協力を得たrwkv.cppでCPU上でも実行可能。量子化（Q4_0〜Q8_0）適用でM2 MacBook Airで14Bモデルが数token/sで動作する。エッジ・オフラインLLMとして活用されている。
コミュニティ
RWKV-Worldシリーズは100+言語に対応した多言語モデルで、日本語を含む非英語圏コミュニティに人気がある。EleutherAIのThe Pile互換データで学習されており商用利用可能（Apache 2.0）。