AI・機械学習
中級
GSM8K（ジーエスエムエイトケー）
小学校レベルの数学文章題8,500問で構成されるLLM数学推論評価ベンチマーク。Chain-of-Thoughtの効果検証に広く使われる。
0 回閲覧
0 いいね
2026/6/7 更新
関連タグ
benchmark
llm-evaluation
math-reasoning
chain-of-thought
GSM8Kとは
GSM8K（Grade School Math 8K）は、OpenAIが2021年に公開した数学推論ベンチマーク。8,500問の小学校レベルの数学文章題から構成され、LLMの算術的推論能力を評価する。問題は2〜8ステップの計算手順を要するように設計されており、単純な計算ではなく段階的な推論が必要だ。
Chain-of-Thoughtとの深い関係
GSM8KはChain-of-Thought（CoT）プロンプティングの研究で特に重要な役割を果たした。2022年にGoogle Brainが発表したCoT論文では、GSM8Kを主要ベンチマークとして使用し、段階的な思考プロセスを示すプロンプトを与えるだけでモデルの正答率が劇的に向上することを実証した。
例えば：
- 標準プロンプト（GPT-3 175B）: 約17%
- CoTプロンプト（GPT-3 175B）: 約56%
この差異がCoT研究の爆発的な発展につながった。
問題の特徴
GSM8Kの問題は以下の特性を持つ：
- 自然言語記述: 数式ではなく日常的な文章で問題が書かれている
- 多段階計算: 複数のステップを経て最終答えに到達する
- 整数解: すべての答えは正の整数で、浮動小数点誤差の影響を受けない
- 現実的な文脈: ショッピング・料理・旅行など日常的なシナリオ
モデル進化とスコアの変遷
| モデル・時期 | GSM8K スコア |
|---|---|
| GPT-3 (2020) | 約17% |
| PaLM 540B (2022) | 約58% |
| GPT-4 (2023) | 約92% |
| Claude 3.5 Sonnet (2024) | 約96% |
| Gemini 1.5 Pro (2024) | 約91% |
現在の最先端モデルでは95%を超えており、GSM8K単体ではモデル差別化が難しくなりつつある。より高難度のMATH-500やGSM8K-PlatinumなどHarderバリアントへの移行が進んでいる。
限界と派生ベンチマーク
GSM8Kは「小学校レベル」という制約上、高校数学・大学数学レベルの推論を測定できない。このため：
- MATH: 高校数学オリンピックレベルの問題集
- GSM-Hard: GSM8K問題の数値を大きくした高難度版
- MathBench: より広範な数学推論を測定
などの派生ベンチマークが登場している。