Cicero（Meta Diplomacyエージェント）（シセロメタディプロマシーエージェント）

Cicero（Meta Diplomacyエージェント）

概要

Ciceroは2022年にMetaが開発・発表した人工知能エージェントで、複雑な外交ボードゲーム「Diplomacy」において人間プレイヤーの上位10%に相当する成績を達成した、歴史上初のAIシステムです。この成果はScience誌に掲載され、AIの社会的推論能力において画期的なマイルストーンとなりました。

Diplomacyゲームの特性

Diplomacyは7人のプレイヤーが欧州列強を代表してゲームを行う戦略ボードゲームです。単純な戦略ゲームと異なり、以下の要素が含まれます。

• 自然言語交渉: プレイヤー間で同盟や裏切りを含む自由な会話が必要
• 長期的戦略計画: 複数ターンにわたる戦略的思考
• 信頼と欺瞞: 他者の意図を読みながら自己の目的を追求
• 動的な同盟関係: ゲーム進行に応じて関係が変化

これらの特性により、Diplomacyは「社会的推論」の最難関ベンチマークとされてきました。

Ciceroのアーキテクチャ

Ciceroは2つの主要コンポーネントで構成されています。

戦略計画モジュール

• 強化学習ベースの戦略エージェント
• ゲーム状態に応じた最適行動の計算
• 他プレイヤーの意図・行動のモデリング
• Bayesian推論による信念更新

自然言語対話モジュール

• Metaの大規模言語モデル（BART系）をベース
• 戦略計画の出力を受けて交渉メッセージを生成
• 文脈に応じた説得力のある発言の構築
• 人間らしい会話スタイルの維持

主要な技術的革新

条件付きメッセージ生成 戦略モジュールの出力（目標アクション）を条件として自然言語を生成。単なるチャットボットではなく、戦略的意図に基づく発言を実現。

コントロールアブルな生成 ゲームの文脈・過去の発言・戦略的目標を統合した制御可能なテキスト生成システム。

意図モデリング 各プレイヤーの行動を予測するモデルを構築し、それをメッセージ生成に活用。社会的推論の核心部分。

成果と意義

• オンラインゲームでの検証: webDiplomacy.netで人間プレイヤーと匿名で対戦し、上位10%の成績を達成
• 社会的推論AIの実証: 自然言語を用いた交渉・同盟・欺瞞を含む社会的相互作用でAIが人間レベルに到達
• マルチモーダルAI: 言語モデルと戦略エンジンの統合という新しいアーキテクチャパターンを提示

LLM研究への影響

CiceroはLLM研究において以下の方向性を示しました。

• 言語モデルをスタンドアロンで使用するのではなく、専門的なモジュールと組み合わせる重要性
• 社会的推論・Theory of MindのLLMへの組み込み可能性
• 自然言語を介したマルチエージェント協調の実現
• ゲームベンチマークによるAI能力の新たな評価軸

後継研究

Ciceroの成功を受けて、以下の研究が発展しました。

• SOTOPIA（社会的インテリジェンスの包括的ベンチマーク）
• LLMを用いた交渉エージェントの研究
• Theory of Mind能力の大規模言語モデルへの評価・強化
• GPT-4oやClaude等の最新LLMを用いたDiplomacy研究