Minerva（数学LLM）（ミネルバスウガクエルエルエム）
Googleが2022年に発表した数学・科学的推論特化LLM。PaLMをベースに118Bトークンの数学論文・教科書コーパスを追加学習し、大学レベル数学問題をステップバイステップで解くパイオニア的モデル。
Minerva（数学LLM）とは
Minerva（ミネルバ）は、Google Researchが2022年6月に発表した数学・定量的科学推論に特化した大規模言語モデルです。PaLMをベースモデルとして数学・科学コーパスで追加学習を行い、当時のAI数学推論の水準を大幅に向上させたパイオニア的研究です。
モデル構成
| 項目 | 詳細 |
|---|---|
| ベースモデル | PaLM（Pathways Language Model） |
| パラメータ数 | 8B / 62B / 540B の3サイズ |
| 追加学習コーパス | 118Bトークン（数学・科学論文＋教科書） |
| コーパスソース | arXiv論文（2000〜2021）＋WebフィルタリングSTEMコンテンツ |
| 発表年 | 2022年6月 |
主な技術的特徴
数学特化コーパスでの継続事前学習
arXivの数学・物理・化学・CS論文、MIT OCW（OpenCourseWare）、Khan Academyなどの教材を集約した118Bトークンのデータセットで継続事前学習を実施。
Few-Shot Chain-of-Thought
問題文の前に「同種の問題と解法の例」を数件（few-shot）提示することで、モデルが詳細な推論ステップ（Chain-of-Thought）を生成。
LaTeX形式での数式生成
$\frac{d}{dx}[x^n] = nx^{n-1}$ のような微積分展開をLaTeX記法で正確に出力する能力を獲得。
maj@k（多数決サンプリング）
同じ問題を複数回サンプリングして多数決を取ることで精度向上。maj@64（64回サンプルの多数決）でMATH精度が大幅改善。
ベンチマーク性能（2022年発表時）
| ベンチマーク | Minerva-540B | GPT-3（当時） | 改善率 |
|---|---|---|---|
| MATH | 50.3% | 10.3% | 約5倍 |
| OCW Courses | 33.6% | 7.1% | 約5倍 |
| MMLU-STEM | 75.0% | 55.1% | 36%向上 |
OCW Courses（MIT OpenCourseWare）はMITの大学・大学院レベル数学問題ベンチマークで、当時30%超えは衝撃的な結果でした。
Minervaの歴史的意義
- 「数学AIは無理」という常識を破壊：大学数学50%超が困難とされた時代に実現
- 数学特化コーパスの有効性を実証：継続事前学習アプローチが後続のDeepSeekMath・Qwen-Mathに踏襲
- 科学的発見への応用可能性：物理・化学・生物の定量的推論も同時に向上
2024年のDeepSeekMath-7B（51.7%）が2022年のMinerva-540B（50.3%）とほぼ同等のMATHスコアを7Bで達成した比較が有名です。
よくある質問（FAQ）
Q: Minervaは現在も利用できるか？ A: 研究発表のみで一般公開はされていません。Google Geminiに技術が引き継がれています。
Q: MinervaはGeminiに搭載されているか？ A: 明言されていませんが、Gemini Ultra/1.5の数学推論能力はMinervaの研究を踏まえた改良版アーキテクチャと推定されています。
Q: Minervaの研究論文はどこで読めるか？ A: arxiv.org/abs/2206.14858「Solving Quantitative Reasoning Problems with Language Models」で公開されています。