DIAMOND 拡散世界モデル（ダイヤモンドカクサンセカイモデル）

DIAMOND 拡散世界モデル 完全ガイド

DIAMOND は拡散モデルを世界モデルのコアとして採用した先駆的研究で、強化学習と生成 AI を融合する新しいアプローチを示した。

提案背景: 既存世界モデルの限界

DreamerV3 や IRIS などの従来世界モデルは RSSM（Recurrent State Space Model）や VQ-VAE + Transformer による予測を用いるが、

• 視覚的細部（テクスチャ・細かい動き）の再現精度が低い
• 分布外シナリオへの汎化が弱い
• 長時間予測での累積誤差

という課題があった。DIAMOND はフレーム予測を「条件付き拡散過程」として定式化することでこれらを改善する。

アーキテクチャ概要

観測 o_t + アクション a_t
        ↓
  拡散モデル (U-Net ベース)
  ノイズ除去プロセス (T ステップ)
        ↓
  予測フレーム o_{t+1}
        ↓
  報酬モデル r_t + 終了判定
        ↓
  ポリシー学習 (Imagination Rollout)

拡散モデルは前フレームとアクションを条件として受け取り、次フレームをデノイジングプロセスで生成する。

Atari 100k での性能

Atari 100k ベンチマーク（環境ステップ数 100,000 のみで訓練）において DIAMOND は

• 人間規格化スコア（HNS）平均 1.46 を達成
• DreamerV3（1.14）、IRIS（1.08）を上回る
• 実エミュレータを使う EfficientZero（2.0）には及ばないが純粋 World Model のみでの評価では最高水準

拡散モデル採用の利点と欠点

利点:

• 高品質・高忠実度のフレーム生成
• 多モーダルな未来予測（確率的サンプリング）
• 細かいテクスチャ・動きの保持

欠点:

• 1 フレーム生成に複数回のノイズ除去ステップが必要 → 推論コスト高
• 訓練時間が RSSM 系より大幅に増加
• リアルタイム応用にはさらなる高速化が必要

研究的意義

DIAMOND は「生成 AI の最前線である拡散モデルを RL の世界モデルに転用できる」という概念実証として重要だ。Consistency Model や Flow Matching などの高速生成手法を組み合わせることで計算コスト問題が解決されれば、実用的な World Model RL システムの標準構成要素になりうる。