IRIS トークンベース世界モデル（アイリストークンベースセカイモデル）

IRIS トークンベース世界モデル 完全ガイド

IRIS は「言語モデルのアーキテクチャを視覚的ゲーム環境シミュレーションに応用する」という発想の転換によって世界モデル RL の新潮流を切り開いたシステムだ。

アーキテクチャ概要

IRIS のパイプラインは大きく 3 段階に分かれる。

[観測フレーム o_t]
        ↓ VQ-VAE エンコーダ
[離散トークン列 τ_t] (16×16 = 256 トークン / フレーム)
        ↓ GPT-2 スタイル Transformer
[次トークン列 τ_{t+1}] の自己回帰予測
        ↓ VQ-VAE デコーダ
[再構成フレーム ô_{t+1}]
        ↓
[Actor-Critic in Imagination]

VQ-VAE トークナイザの役割

VQ-VAE（Vector Quantized VAE）はフレームをコードブックの離散インデックス（トークン）に変換する。これにより

• 連続的な画素値 → 離散シンボル列 への変換
• コードブックサイズ（512 語彙）で視覚情報を圧縮
• 言語モデルと同じ「次トークン予測」パラダイムが適用可能

になる。

GPT スタイル自己回帰世界モデル

トークン列を入力とする GPT-2 互換 Transformer が

• 現在フレームのトークン + アクション → 次フレームのトークン
• 報酬トークン・終了トークンも同時予測

という形で世界ダイナミクスをモデル化する。LLM の事前学習エンジニアリング（BPE 除く）をほぼそのまま流用できるため実装が容易で再現性が高い。

Atari 100k での位置づけ

発表当時（2022年）の Atari 100k において IRIS は

• HNS 1.046 で SimPLe・Dreamer・EfficientZero（モデルフリー）を上回り当時 SOTA
• 純粋 World Model のみ（実環境ステップ 100k 以下）で達成

後に DIAMOND（2024年、HNS 1.46）に抜かれるが IRIS のアーキテクチャが DIAMOND 設計の出発点となった。

実装公開の意義

IRIS は PyTorch 実装がフルオープンソースで公開されており単一 GPU（RTX 3080 相当）で再現可能。これにより世界モデル RL 研究へのアクセス障壁が大幅に下がり後続研究の加速に寄与した。DIAMOND の著者らも IRIS コードをベースに開発を開始したと記している。

限界と発展方向

• VQ-VAE のコードブック崩壊問題（一部コードが使われなくなる）
• 長時間ロールアウトでのトークン列長増大 → KV Cache メモリ増加
• 複雑な 3D 環境での空間一貫性不足

これらはその後の研究（DIAMOND の拡散モデル採用、Genie 2 の大スケール化）で対処される方向性となった。