SOTOPIA（社会的インテリジェンス評価フレームワーク）（ソトピアシャカイテキインテリジェンスヒョウカフレームワーク）

SOTOPIA（社会的インテリジェンス評価フレームワーク）

概要

SOTOPIAはCarnegie Mellon University（CMU）が2024年に開発した、大規模言語モデルの社会的インテリジェンスを包括的に評価するためのシミュレーション環境です。「Social Open-ended Tasks and Intelligence for Agents」の略称で、AIエージェントが複雑な社会的シナリオにおいてどのように振る舞うかを体系的に測定します。

なぜSOTOPIAが必要か

既存のLLMベンチマーク（MMLU、GSM8K等）は主に知識や推論能力を測定するものであり、社会的能力の評価は困難でした。人間の社会的インテリジェンスには以下が含まれます。

• 状況に応じた適切なコミュニケーション
• 他者の意図・感情・目標の理解
• 社会規範・倫理的制約の遵守
• 長期的な関係構築と信頼形成
• 競合する目標の調整と協調

SOTOPIAはこれらを定量的に評価するための環境を提供します。

フレームワークの構成

シナリオ設計

• 多様な社会的文脈: 就職面接・ビジネス交渉・友人関係・恋愛・家族問題など400以上のシナリオ
• キャラクター設定: 異なる背景・目標・価値観を持つAIエージェントキャラクター
• 目標の多様性: 公開目標（相手に見える）と秘密目標（自分だけが持つ）の組み合わせ

評価次元（7次元）

1. Believability（信憑性）: 人間らしい行動か
2. Relationship（関係性）: 関係の変化・発展
3. Knowledge（知識）: 情報共有と獲得
4. Secret（秘密保持）: 秘密目標の達成度
5. Social Rules（社会規範）: 倫理・法律・社会規範の遵守
6. Financial and Material Benefits（物質的利益）: 経済的目標の達成
7. Goal（目標達成）: 全体的な目標達成度

主要な発見

SOTOPIAを用いた研究から、以下の知見が得られています。

LLMの社会的能力格差 GPT-4は他のLLMと比較して社会的インテリジェンスで優位性を示す一方、人間との比較ではまだ差がある。

誠実性と目標達成のトレードオフ LLMは社会規範を守りながら目標を達成することが難しく、特に競合する目標がある状況で倫理的判断が課題。

SOTOPIAの派生研究

• SOTOPIA-π：社会的シナリオでのファインチューニングによりGPT-3.5レベルの改善
• SOTOPIA-Eval：社会的能力の自動評価システム

LLM開発への応用

SOTOPIAは以下の用途で活用されています。

• 新しいLLMリリース時の社会的能力評価
• RLHF・DPOでの社会的能力改善の測定
• AIアシスタントの社会的適切性の検証
• マルチエージェントシステムの協調能力評価

今後の展望

SOTOPIAはLLMの社会的インテリジェンス研究のプラットフォームとして発展しており、より複雑な社会的シナリオ（多人数インタラクション、長期関係など）への拡張が進められています。