NuminaMath-TIR（ヌミナマス ティーアイアール）
Project Numinaが開発したTool-Integrated Reasoning（ツール統合推論）アプローチ。LLMがPythonインタープリターを呼び出しながら数学問題を段階的に解く手法で、AIME 2024で72.6%・AMC 2023で94.4%を記録し2024年時点の数学LLM最高水準を達成。
NuminaMath-TIR とは
NuminaMath-TIRは、2024年にHugging Faceが主催した「AIME 2024 LLMチャレンジ」で優勝したProject Numinaのアプローチ。Tool-Integrated Reasoning（TIR）と呼ばれる手法を採用し、LLMが数学問題を解く際に自然言語での推論とPythonコードの実行を組み合わせることで、従来の純粋言語モデルを大幅に上回る精度を実現した。
Tool-Integrated Reasoning（TIR）の仕組み
従来のChain-of-Thought（CoT）はLLMが自然言語のみで段階的推論を行うが、計算ミスが累積して複雑な数式処理で失敗しやすい。TIRは計算が必要な箇所でPythonコードを生成・実行し、実行結果を次のステップの入力として使用する。
問題: 整数 n² ≡ 1 (mod 24) を満たす最小の正の整数 n を求めよ
LLM思考: n²-1 = (n-1)(n+1) が24の倍数になる条件を調べます
[Pythonコード]: for n in range(2, 100):
if (n**2 - 1) % 24 == 0: print(n); break
[実行結果]: 5
LLM: よって n = 5
性能指標（2024年時点）
| ベンチマーク | NuminaMath-TIR | GPT-4o | Gemini 1.5 Pro |
|---|---|---|---|
| AIME 2024 | 72.6% | 9.3% | 16.7% |
| AMC 2023 | 94.4% | 72.1% | 80.0% |
| MATH-500 | 90.0% | 76.4% | 86.5% |
注: 2025年以降はo3・DeepSeek-R1等がさらに高いスコアを達成
NuminaMath データセット
Project Numinaはオープンソースの学習データセット「NuminaMath」を公開：
- 規模: 約86万問の数学問題（英語・中国語混在）
- ソース: 中国高校入試、AMC/AIME、数学オリンピック問題
- 形式: 問題文 + CoT形式解答 + TIR形式解答（一部）
- ライセンス: CC BY 4.0
- Hugging Face:
AI-MO/NuminaMath-CoT,AI-MO/NuminaMath-TIR
ベースモデルと学習手法
- ベースモデル: DeepSeekMath-7B-RL またはその派生
- TIRデータ: CoTとPythonコードのペアで構成された独自学習データ
- SFT + Rejection Sampling: コードが正しく実行されない解答を除外して品質向上
- Process Reward Model: ステップ単位の正確性を評価
後継・影響
- OpenAI o1: Chain-of-Thoughtの内部化とコード実行統合
- Qwen2.5-Math: TIRを大規模言語モデルに統合
- DeepSeek-R1: 強化学習でのTIR的な推論プロセス習得
- Eurus-2-PRIME: PRMとTIRの組み合わせによる品質向上
FAQ
Q: TIRとReActの違いは？ A: ReActはWeb検索・APIなど汎用ツールを対象とするが、TIRは数学特化でPython実行に絞ることでサンドボックス安全性と精度を両立する。
Q: ローカルLLMでTIRを実装できるか？ A: はい。LightEval等のフレームワークがPython executor統合をサポート。7B以上のモデルが実用的。
Q: 2025年のAIMEではどのモデルが最高？ A: 2025年時点ではOpenAI o3・DeepSeek-R1・Gemini 2.0 Flash ThinkingがAIME 2025で70〜90%超を達成し、強化学習ベースの推論モデルが上位。