DreamerV3 世界モデル強化学習（ドリーマーブイスリーセカイモデルキョウカガクシュウ）
DreamerV3はGoogle DeepMindが2023年に発表した汎用世界モデルRLエージェントで、単一のハイパーパラメータセットでAtari・DMControl・Minecraft等12種の異なるタスクドメインで同時に人間超えまたは最先端性能を達成した。
DreamerV3 世界モデル強化学習 完全ガイド
DreamerV3 は世界モデル RL における「汎用性」という難題に初めて本格的に応答したシステムで、モデルベース RL の実用化を大きく前進させた。
Dreamer シリーズの進化
| バージョン | 発表年 | 主な革新 |
|---|---|---|
| Dreamer | 2019 | RSSM 世界モデル + Actor-Critic in Imagination |
| DreamerV2 | 2020 | 離散潜在変数（Categorical RSSM）Atari SOTA |
| DreamerV3 | 2023 | 汎用化（symlog・ReturnNorm・12ドメイン同時） |
コアアーキテクチャ: RSSM
Recurrent State Space Model（RSSM）は世界の状態を以下に分解する。
- Deterministic state h_t: GRU による時系列記憶
- Stochastic state z_t: 離散カテゴリカル変数（観測からエンコード or 予測）
観測 o_t をエンコードした z_t と h_t を合わせた潜在表現から報酬・終了・次状態を予測する。これにより世界モデルは観測空間ではなく潜在空間で動作し計算効率が大幅に向上する。
汎用化の技術的革新
1. symlog 変換: タスクによって報酬スケールが極端に異なる問題（-1000〜+1000 vs 0〜1）を対数的圧縮で吸収。単一の学習率・クリッピングパラメータが機能するようになる。
2. Return Normalization: 指数移動平均で報酬の動的レンジを推定し Value 学習を安定化。
3. KL Balancing: Prior と Posterior の KL divergence に非対称重みを付け表現学習を改善。
4. Free Bits: KL ペナルティに下限を設け情報を捨てすぎる崩壊を防止。
12 ドメイン同時達成
・Atari 100k (26ゲーム) — 超人水準 (HNS > 1.0)
・DMControl Continuous (6タスク) — SOTA
・DMControl Proprio / Vision — SOTA
・Minecraft Diamond 収集 — 最初の RL 単独達成
・BSuite — SOTA
・Crafter — SOTA
・Loconow Locomotion — SOTA
単一ハイパーパラメータセットで全ドメインに適用できることが、先行研究との最大の差別化点だ。
実装と再現性
DreamerV3 は JAX で実装されており GitHub で公開されている。単一 GPU（RTX 3090 相当）で Atari 訓練が可能だが、Minecraft などリッチな環境では A100 複数枚が現実的なスケール。後継として DreamerV3 をベースに拡張した研究（DIAMOND、Plan2Explore 系）が多数派生している。