DeepSeekMath-7B（ディープシークマスセブンビー）
DeepSeekが開発した数学特化7Bパラメータ言語モデル。数学推論・証明・競技数学問題を解くために120Bトークンの数学コーパスで事前学習し、GPT-4レベルの数学性能を達成した。
DeepSeekMath-7B とは
DeepSeekMath-7B（ディープシークマス セブンビー）は、中国のAI企業DeepSeekが2024年2月に公開した数学特化の大規模言語モデルです。7Bという比較的小さなパラメータ数でGPT-4に匹敵する数学推論能力を示し、オープンソース数学LLMの水準を大きく引き上げました。
数学特化コーパス（120Bトークン）
- Common Crawl数学フィルタリング：Webクロールから数学関連ページを抽出（数式・LaTeX・数学用語密度でスコアリング）
- arXiv数学論文：数学・統計・CS理論カテゴリの論文
- 競技数学データ：AMC・AIME・IMOの問題と解法
- 数学コード：Python/Sympy/Matplotlibによる数値計算コード
学習パイプライン
- 継続事前学習：120Bトークン数学コーパスでの追加学習
- SFT（Supervised Fine-Tuning）：数学問題と詳細な解法ステップでの微調整
- GRPO（Group Relative Policy Optimization）：DeepSeek独自強化学習で推論精度を向上
GRPO（Group Relative Policy Optimization）はDeepSeekが開発した強化学習アルゴリズム。グループ内の相対的な報酬を計算することで安定した学習を実現します。
ベンチマーク性能（2024年2月時点）
| ベンチマーク | DeepSeekMath-7B | GPT-4 | Mixtral-8x7B |
|---|---|---|---|
| MATH-500 | 51.7% | 42.5% | 28.6% |
| GSM8K | 82.9% | 92.0% | 74.4% |
| MATH競技 | 43.6% | 35.1% | - |
| OCW Courses | 31.9% | 29.1% | - |
7Bモデルが540BのMinervaとほぼ同等のスコアを達成したことで大きな注目を集めました。
技術的意義
2024年初頭まで7Bクラスのオープンソースモデルは数学推論で20〜30%台が上限でしたが、DeepSeekMath-7Bが51%台まで引き上げました。「スケールよりデータ品質・RLHF」を実証した点が重要です。モデルウェイトをHugging FaceでApache-2.0ライセンスで公開。
よくある質問（FAQ）
Q: DeepSeekMath-7Bはローカルで動かせるか？
A: 4bit量子化（GGUF形式）なら8GB VRAMのGPUで動作可能。Ollamaでollama run deepseek-mathと実行できます。
Q: DeepSeekMath-7B RLとInstructの違いは？ A: RLはGRPOで強化学習のみ適用、Instructはさらにユーザー向けSFTを追加。数学ベンチではRLの方が高精度ですが、会話ではInstructが使いやすい。
Q: DeepSeek-R1とDeepSeekMath-7Bの関係は？ A: R1（2025年）はDeepSeekMathの技術（GRPO・数学データ）を全ドメインに拡張した次世代推論モデル。DeepSeekMathは数学専用先行研究に位置づけられます。