LLM Benchmark MMLU/ARC-AGI/GPQA（ベンチマーク）
LLM 評価 benchmark。MMLU(57 domain・undergraduate level・Claude 4.7 88%+)・MMLU-Pro(advanced・2024年)・GPQA Diamond(Physics/Chemistry/Biology PhD・o1 78%・Claude 4.7 80%+)・ARC-AGI(Francois Chollet・abstract reasoning・o3 breakthrough 87%・2024年12月)・ARC-AGI-2(2025年・more difficult)・HumanEval/MBPP(code・saturated)・SWE-bench Verified(実用software engineering・Claude 4.7 80%+)・LiveCodeBench・AIME 2024/2025(math)・Chatbot Arena ELO・2026年 ARC-AGI-2/SWE-bench支配権争い。
概要
LLM Benchmark MMLU/ARC‑AGI/GPQA は、自然言語処理モデルの性能を定量化するための標準的なテストセット群です。
- MMLU（Massive Multitask Language Understanding）は、57 ドメインの大学レベル問題を含み、Claude 4.7 で 88 %+ を記録。
- MMLU‑Pro は 2024 年に導入された高度なタスクを網羅し、2025 年にさらに拡張される予定。
- GPQA Diamond は PhD レベルの物理・化学・生物学問題を扱い、Claude 4.7 で 80 %+ を達成。
- ARC‑AGI は François Chollet が開発した抽象推論タスクで、2024 年 12 月に 87 % の突破点を示し、2025 年に ARC‑AGI‑2 がリリースされ難易度が倍増。
- SWE‑bench は実用的なソフトウェアエンジニアリング課題を含み、Claude 4.7 で 80 %+ を達成。
これらのベンチマークは、モデルの汎用性、推論速度、エラー率などを総合的に評価するために設計され、2025‑2026 年の AI 競争の核心を担っています。
主な特徴・仕組み
- 多ドメイン設計：57 ドメイン（数学、歴史、科学など）を網羅し、単一領域の偏りを排除。
- 学部レベルから PhD レベルまで：MMLU は学部、GPQA Diamond は PhD レベル、ARC‑AGI は抽象推論を重視。
- 高精度スコア：Claude 4.7 は MMLU で 88 %+、GPQA Diamond で 80 %+、ARC‑AGI で 87 %+ を記録。
- 継続的更新：MMLU‑Pro は 2024 年に導入、2025 年に拡張。ARC‑AGI‑2 は 2025 年にリリース。
- 実用性重視：SWE‑bench は実際のソフトウェア開発タスクを再現し、エンジニアリングスキルを測定。
- タスク多様性：抽象推論、数理問題、論理推論、プログラミング、ドメイン知識問答を含む。
- スコアリング方式：正答率と推論時間を組み合わせ、総合スコアを算出。
- 公開データセット：すべての問題と解答はオープンソースで提供され、研究者が独自に評価可能。
- ベンチマークの競争：2026 年に ARC‑AGI‑2 と SWE‑bench が支配権争いを起こし、AI 企業が性能差を競う。
- GPU 依存度：RTX 5090、Ryzen 9 9950X3D、RTX 4090 Ti などのハイエンド GPU で高速推論を実現。
スペック比較表
| ベンチマーク | 主な対象ドメイン | 代表的スコア | 推奨ハードウェア | 2025‑2026 年の展望 |
|---|---|---|---|---|
| MMLU | 57 ドメイン（学部） | 88 %+ (Claude 4.7) | RTX 4090 Ti、DDR5‑6000 | 2025 年に MMLU‑Pro で 95 %+ を目指す |
| GPQA Diamond | PhD レベル（科学） | 80 %+ (Claude 4.7) | RTX 5090、H100 | 2026 年に新バージョンで 85 %+ を目指す |
| ARC‑AGI | 抽象推論 | 87 %+ (Claude 4.7) | RTX 4090、Ryzen 9 9950X3D | 2025 年に ARC‑AGI‑2 で 90 %+ を目指す |
| SWE‑bench | 実用ソフトウェア | 80 %+ (Claude 4.7) | RTX 4090 Ti、DDR5‑6000 | 2026 年に競合ベンチマークと統合 |
具体例・対応製品
- NVIDIA RTX 5090 – 24 GB GDDR7、TDP 450 W、最大 3.5 GHz ブースト。MMLU‑Pro で 96 %+ を達成。
- AMD Ryzen 9 9950X3D – 16 コア、3.2 GHz ベース、3.8 GHz ブースト。ARC‑AGI‑2 で 91 %+ を記録。
- NVIDIA H100 Tensor Core GPU – 80 Tensor Cores、128 GB HBM3、TDP 700 W。GPQA Diamond で 85 %+ を実現。
- Intel Xeon W‑3175X – 28 コア、3.5 GHz、DDR5‑4800。SWE‑bench で 82 %+ を達成。
- Apple M2 Ultra – 48 コア、16 GB LPDDR5、TDP 70 W。ARC‑AGI で 88 %+ を記録。
自作PCでの選び方・注意点
- GPU：ベンチマークは GPU の性能に大きく依存。RTX 5090 以上、または H100 などのハイエンドを選択。
- メモリ：DDR5‑6000 以上、最低 32 GB。GPQA Diamond では 64 GB 以上が推奨。
- CPU：多コアで高クロック。Ryzen 9 9950X3D 以上、または Xeon W‑3175X。
- 電源：TDP 450 W 以上の GPU を想定し、800 W 以上の電源を確保。
- 冷却：高性能 GPU では水冷や高性能ファンが必須。
- ストレージ：NVMe SSD 1 TB 以上、PCIe 4.0 以上。
- マザーボード：PCIe 5.0 対応、十分な電源配線。
- OS & ドライバ：NVIDIA CUDA 12.0 以上、AMD ROCm 6.0 以上。
- 電源効率：80 Plus Gold 以上、2025 年に推奨される 90 % 以上の効率を目指す。
- アップグレード性：2026 年に新しい GPU やメモリ規格が登場するため、拡張性を確保。
関連用語との違い
- HumanEval / MBPP：コード生成タスクに特化。SWE‑bench は実用ソフトウェアエンジニアリングを網羅し、HumanEval よりも実践的。
- Chatbot Arena ELO：対話型性能を競う指標。LLM Benchmark は推論精度を重視し、対話スキルとは別。
- AIME：数学コンテスト問題。ARC‑AGI は抽象推論を重視し、AIME よりも幅広いドメインをカバー。
- ARC‑AGI‑2：ARC‑AGI の後継で、難易度が 2 倍。2025 年にリリースされ、2026 年の競争で中心的役割を果たす。
よくある質問(FAQ)
Q1. MMLU と MMLU‑Pro の違いは何ですか？
A1. MMLU は 57 ドメインの大学レベル問題を対象にしており、MMLU‑Pro は 2024 年に導入された高度なタスクを追加し、2025 年に更なる拡張が予定されています。
Q2. GPQA Diamond の評価はどの程度実用的ですか？
A2. GPQA Diamond は PhD レベルの物理・化学・生物学問題を含み、Claude 4.7 で 80 %+ を達成。実際の研究支援や専門知識評価に有用です。
Q3. ARC‑AGI‑2 はどのように2025‑2026 年のAI競争に影響しますか？
A3. ARC‑AGI‑2 は抽象推論タスクの難易度を倍増させ、2025 年にリリース。2026 年には ARC‑AGI‑2 と SWE‑bench が支配権争いを起こし、AI 企業が性能差を競う主要舞台となります。
まとめ
LLM Benchmark MMLU/ARC‑AGI/GPQA は、AI モデルの汎用性と専門性を総合的に測定するための不可欠なツールです。2025‑2026 年の AI 競争では、ARC‑AGI‑2 と SWE‑bench が支配権争いを起こし、ベンチマークの重要性がさらに高まります。自作 PC を構築する際は、GPU、CPU、メモリ、電源の選択を慎重に行い、将来のアップグレードに備えることが成功の鍵となります。