Social IQ（社会的知性ベンチマーク）（ソーシャルアイキューシャカイテキチセイベンチマーク）

Social IQ（社会的知性ベンチマーク）

概要

Social IQベンチマークは、大規模言語モデルが日常的な社会的状況を理解し、適切に推論できるかを評価するためのベンチマーク群の総称です。知識や数学的推論とは異なり、暗黙の社会規範・人間関係・感情・文脈依存的な行動の適切さを問う点が特徴です。

主要なSocial IQベンチマーク

Social IQa（Social Interaction QA）

Allen Institute for AI（Allen AI）が2019年に発表したベンチマーク。

特徴:

• 約38,000の多肢選択問題
• 日常的な社会的状況に関するQA形式
• 3択問題（適切/不適切/中立な行動・感情・意図）

問題例: 状況: AlexはSamの誕生日プレゼントを忘れた。 Alexはなぜそうしたのか？ (a) Samを傷つけたかったから (b) 忘れていたから (c) プレゼントが嫌いだから

評価軸:

• 行動の意図・動機の推論
• 感情的反応の予測
• 次に取るべき行動の判断

人間ベースライン: 約88%（測定値）

NormBank（2023）

Behavioral Norms Bankの略で、社会規範の理解を体系的に評価するベンチマーク。

特徴:

• 155,000以上の(行動、文脈、規範ラベル)の三つ組
• 文化的・状況的な社会規範の違いを反映
• 暗黙の社会規範（「友人の葬儀で笑わない」等）を評価

CommonsenseQA

一般的常識を問うベンチマーク。社会的常識も含む。

WinoGrande

代名詞の曖昧性解消を通じて社会的文脈理解を評価。Winograd Schemaの大規模版。

LLMのSocial IQ性能推移

• BERT（2019）: 64.5%
• RoBERTa（2020）: 77.1%
• GPT-3（2020）: 75.6%（Few-shot）
• GPT-4（2023）: 85%+（人間水準に接近）
• 人間: 88.1%（ゴールドスタンダード）

Social IQの評価が難しい理由

文化・文脈依存性

「適切な行動」は文化・状況によって大きく異なります。LLMが学習した訓練データのバイアスが性能に影響。

暗黙知の推論

明示されていない社会規範・常識を暗黙的に推論する必要があり、訓練データに存在しない状況での一般化が困難。

反事実的推論

「もしAがBをしていなければ、Cはどう感じただろうか？」のような反事実的な社会的推論はLLMには特に困難。

実用的な意義

Social IQベンチマークで高い性能を達成することは、以下の実用的能力と相関します。

• 会話AI: 文脈に応じた適切な応答生成
• カスタマーサービスAI: 顧客の感情・意図への適切な対応
• 教育AI: 学習者の状態に応じた個別化指導
• ヘルスケアAI: 患者の心理状態を考慮したコミュニケーション

最新の研究動向

2024-2025年にかけて、Social IQ研究は以下の方向に発展しています。

• 動的評価: 静的QAから対話型・シミュレーション型評価へ（SOTOPIAなど）
• 多文化評価: 異文化間の社会規範の違いを反映したベンチマーク
• マルチモーダル: 視覚情報（表情・身振り）を含む社会的推論の評価
• 長期インタラクション: 単発のQAから継続的な関係性を評価するフレームワーク