RWKV-7（Eagle2アーキテクチャ）（アールダブリュケーブイセブン）

RWKV-7（Eagle2）とは

RWKV（Recurrent Weighted Key-Value）はBlinkDLが開発するオープンソースのRNN-LLMシリーズだ。第7世代となるRWKV-7は「Eagle2」のコードネームを持ち、2025年に発表された。最大の特徴はO(1)の推論メモリを維持しながらTransformerクラスの性能を達成したことだ。

Delta Rule WKV演算子

RWKV-7の中核技術はDelta Rule WKV（Weighted Key-Value）演算子だ。

従来のWKV演算は過去の重み付き和を保持する形だったが、Delta RuleはKV状態を上書き更新できる機構を追加した。これにより：

• 古い関連付けを忘れる能力（forgettable associative memory）
• 新しいパターンへの高速適応
• 線形注意の弱点だった「特定ペアの取り出し精度」の大幅改善

Delta Ruleの更新式は以下のように表現できる：

W_t = W_{t-1} + β_t (v_t - W_{t-1}k_t) k_t^T

これは過去の予測誤差に比例してKV状態を修正する学習則で、人間の連想記憶モデルに類似している。

O(1)推論の実用的意義

TransformerはKVキャッシュが系列長に比例して増大するが、RWKVは固定サイズの隠れ状態のみ保持する。

この特性はエッジデバイス・組み込みシステム・長文ストリーミング生成で決定的な優位性となる。

モデルラインナップ

RWKV-7（Eagle2）は複数サイズで提供されており、Hugging Faceから入手可能だ：

• 0.1B — マイクロコントローラ・IoTデバイス向け
• 0.4B — スマートフォン・エッジ推論向け
• 1.5B — ラップトップCPU推論向け
• 3B — ミッドレンジGPU向け
• 7B — サーバー・ハイエンドGPU向け

全モデルApache 2.0ライセンスで商用利用も無制限に許可されている。

ベンチマーク比較

RWKV-7は同サイズのLLaMA/Mistralと比較して：

• 言語モデリング（perplexity）: ほぼ同等
• 長コンテキスト理解: 優位（O(1)メモリが効く）
• 短文精度タスク: わずかに劣る（Transformerの並列Attentionが有利）
• 推論速度: デコード段階で高速（RNNの特性）

エコシステムと活用

RWKV.comコミュニティが活発で、ChatRWKV（RWKV専用チャットUI）やrwkv.cppなど周辺ツールが整備されている。特にオフライン・プライバシー重視の個人AIやリソース制約環境でのデプロイに好まれる選択肢だ。

まとめ

RWKV-7はRNNの効率性とTransformerの性能を融合させた意欲的なアーキテクチャで、商用制約のないApache 2.0ライセンスとあわせてオープンソースLLMエコシステムに独自の地位を占めている。