Winograd スキーマ チャレンジ（ウィノグラードスキーマチャレンジ）
代名詞の曖昧さ解消を通じて常識推論能力を測るベンチマーク。「Trophyがスーツケースに入らなかったのはそれが大きすぎたから」の"それ"が何を指すかをモデルが判断する。
Winograd スキーマ チャレンジ
Winograd Schema Challenge（WSC）は、AIシステムが本当に「意味を理解」しているかを検証するための古典的かつ本質的なベンチマークです。
概要
2012年にトロント大学のHector Levesqueが提案。チューリングテストの代替として設計されました。問題の形式は非常にシンプルで、1つの文と代名詞の指示対象を問う2択問題です。
例題:
"The trophy didn't fit in the suitcase because it was too big." → "it" は何を指すか？ → trophy（大きすぎたのは trophy）
"The trophy didn't fit in the suitcase because it was too small." → "it" は何を指すか？ → suitcase（小さすぎたのは suitcase）
文字列の差は1単語（big/small）のみですが、解釈が逆転します。物理的常識なしには解けません。
なぜ重要か
統計的手法（単語共起・文脈長）では「big = trophy に対応する」というパターンを学べません。真の常識理解（物理法則：大きいものは小さな容器に入らない）が必要です。
データセット
| データセット | サイズ | 特徴 |
|---|---|---|
| WSC-273 | 273問 | オリジナル、厳選問題 |
| WinoGrande | 44,000問 | 大規模化、バイアス除去 |
| Winogrande-XL | 40,398問 | 訓練用大規模版 |
LLMのパフォーマンス推移
- GPT-2: ~59%（ランダム比較で微差）
- GPT-3: ~88%
- GPT-4: ~94%
- Claude 3 Opus: ~93%
大規模LLMはWSCの多くを解けるようになりましたが、これがなぜかについては議論があります。「本当の常識理解」なのか「大規模学習による高度なパターンマッチング」なのかは未解決です。
WinoGrandeのバイアス除去
WinoGrandeはAllen AI研究所が2020年に発表。元のWSCには特定の語が特定の回答に偏る統計的バイアスがあったため、AFLite（Adversarial Filtering）でバイアスを除去。モデルが表面的パターンに頼れない設計にしています。
ローカルLLM評価での活用
WinoGrandeはローカルLLM評価ツール（lm-evaluation-harness）に含まれており、自作PCで動かすLlama・Gemma・Qwenなどのモデルの常識推論能力を測る指標として活用されています。
まとめ
Winograd Schema Challengeは「AIが意味を理解しているか」という根本的な問いに向き合うベンチマークです。現代の大規模LLMはほぼ解けるようになりましたが、その背景にある能力の本質についての探求は続いています。