GPQA (Graduate-Level Google-Proof Q&A)（ジーピーキューエー）
大学院レベルの専門知識を要する難問ベンチマーク。Google 検索しても正答困難な問題で構成され、LLM の深い専門知識と推論能力を測定する。物理学・化学・生物学の 448 問から成る。
GPQA とは
GPQA（Graduate-Level Google-Proof Q&A Benchmark）は 2023 年に New York University の研究チームが発表した、LLM の高度な専門知識と推論能力を測定するベンチマークである。大学院レベルの専門家でなければ正答できず、かつ Google 検索を使っても非専門家には解けない という二重の難度基準で問題を設計している点が最大の特徴である。
問題設計の方法論
GPQA の問題作成は以下のプロセスで行われる。
| ステップ | 内容 |
|---|---|
| 専門家作問 | PhD 保持者が自身の専門分野で 4 択問題を作成 |
| 専門家検証 | 同分野の別の PhD 保持者が解答（正答率 81%） |
| 非専門家検証 | 他分野の PhD 保持者が Google 検索 30 分使用して解答（正答率 34%） |
| Google-Proof 判定 | 非専門家正答率が低い（≤50%）問題のみ採用 |
この方法により、「知識があれば解ける暗記問題」ではなく「深い理解と推論が必要な問題」のみが選別される。
データセット構成
GPQA は 448 問の 4 択問題で構成される。
- 物理学（Physics）: 量子力学・統計力学・素粒子物理・天体物理（188 問）
- 化学（Chemistry）: 有機化学・無機化学・物理化学・分析化学（130 問）
- 生物学（Biology）: 分子生物学・遺伝学・生化学・進化生物学（130 問）
さらに難度で 2 つのサブセットに分かれる。
- GPQA Main: 448 問全体
- GPQA Diamond: 最高難度の 198 問（専門家正答率 81%・非専門家正答率 22%）
評価結果の解釈
GPQA Diamond での各モデルの正答率と、人間の基準値を比較する。
- 専門家（同分野 PhD）: 81%
- 非専門家（他分野 PhD + Google 検索）: 22%
- ランダム（4 択）: 25%
- 2024 年トップ LLM: 50-65%（専門家には遠く及ばない）
GPQA は LLM が「大学院レベルの深い専門知識」をどの程度獲得しているかの指標として機能する。2026 年時点でも Diamond サブセットで専門家レベル（81%）に到達したモデルは存在せず、LLM の推論能力の上限を測るのに有効である。
MMLU との違い
MMLU（Massive Multitask Language Understanding）は学部レベルの知識問題を幅広くカバーするが、近年はモデルのスコア飽和（90%超が複数モデルで達成）が問題となっている。GPQA は意図的に難度を引き上げることで天井効果を回避し、最先端モデル間の差を識別可能にしている。
FAQ
Q1: GPQA は LLM 以外の AI システムでも評価に使えるか？
4 択問題形式であるため、任意のテキスト入力を受け付けるシステムで評価可能である。RAG システムや検索拡張型 AI の専門知識能力の測定にも活用されている。
Q2: なぜ理系 3 分野のみなのか？
問題の正答が客観的に検証可能であることが必要条件であるため、人文科学や社会科学のように解釈の余地がある分野は現在のバージョンでは除外されている。将来的な拡張は検討されている。
Q3: GPQA Diamond で高スコアを取るモデルの特徴は？
大規模パラメータ数、長い事前学習（特に学術論文・教科書のコーパス比率が高い）、chain-of-thought 推論の強化が高スコアとの相関が報告されている。単なるスケーリングだけでは不十分で、推論能力の質的向上が求められる。