ARC-AGI ベンチマーク（エーアールシーエージーアイベンチマーク）
François Cholletが提案した抽象的推論能力評価ベンチマーク。パターン認識・アナロジー・規則発見を問い、人間は約85%だがGPT-4oは最大40%程度にとどまる難関テスト。
ARC-AGI ベンチマーク
ARC-AGI（Abstraction and Reasoning Corpus for Artificial General Intelligence）は、LLMが「記憶」ではなく「推論」で問題を解けるかを測定するために設計された難関ベンチマークです。
概要と背景
2019年にGoogle（現Keras）のFrançois Cholletが発表したARC（Abstraction and Reasoning Corpus）を基盤に、AGI能力測定に特化した形で発展しました。2024年にはARC Prizeとして$1,000,000の懸賞金コンペティションが開催され、業界の注目を集めました。
テスト形式
各問題は複数の入出力ペア（訓練例）と、解くべき入力から構成されます。被験者（LLMまたは人間）はこれら少数の例からルールを抽出し、新規入力に適用しなければなりません。
- 入力形式: 10×10以下のグリッド（色付きセル）
- 例示数: 通常3〜5ペア
- ルール: 色移動・対称変換・カウント・パターン拡張など
なぜLLMが苦手か
LLMは大規模テキストコーパスから暗記した知識を活用する。しかしARC-AGIは事前知識が役立たない問題設計になっており、その場でのルール帰納が必須。記憶依存型モデルの限界を可視化するベンチマークです。
スコア比較（2024年時点）
| モデル | ARC-AGI スコア |
|---|---|
| 人間平均 | ~85% |
| GPT-4o（few-shot） | ~5% |
| GPT-4o（CoT + test-time compute） | ~40% |
| o3-mini（high） | ~56%（2025年1月発表） |
| Kaggle ARC Prize 2024 優勝 | 55.5% |
o3とARC-AGIの衝撃
2025年1月にOpenAIが発表したo3モデルはARC-AGIで約88%を記録し、人間の平均を超えました。ただしテスト時計算コスト（test-time compute）が非常に大きく、「実用的なAGI」とは異なるという議論も続いています。
ARC-AGI-2の登場
2025年にはARC-AGI-2が公開され、o3でも30%程度しか取れない難問が追加されました。AGI測定ベンチマークとして継続的に進化しています。
自作PC・ローカルLLMとの関連
ARC-AGIへの挑戦はローカルLLM界でも注目されています。量子化モデルでテスト時計算を増やすアプローチが探求されており、高性能GPU（RTX 4090・RX 7900 XTX）を搭載した自作PCがスコア向上に貢献できます。
まとめ
ARC-AGIはLLMの「丸暗記」能力ではなく「その場での推論」能力を測定する数少ないベンチマークです。AGI進歩の指標として業界標準的な位置づけを獲得しています。