DeepSeek R1(ディープシークアールワン)
DeepSeekが2025年1月に公開したオープンソース推論モデル。強化学習のみで推論能力を獲得し、OpenAI o1と同等性能を無料公開したことで世界に衝撃を与えた。
DeepSeek R1 — 強化学習のみで推論を獲得したOSSモデル
DeepSeek R1は中国のAI企業DeepSeek(幻方科技の子会社)が2025年1月20日に公開した推論特化LLM。MITライセンスのオープンソース公開と、OpenAI o1に匹敵するベンチマーク性能が同時に示され、AI業界に大きな衝撃を与えた(いわゆる「DeepSeekショック」)。
GRPO強化学習の革新
従来の推論モデル訓練はSupervised Fine-Tuning(SFT)→強化学習(RL)の2段階が主流だった。R1はこれを根本から見直し:
R1-Zero: SFTを一切使わず、GRPO(Group Relative Policy Optimization)のみでゼロから推論能力を獲得。モデルが自発的に長い思考ステップを生成するようになり、「aha moment(ユリイカ瞬間)」と呼ばれる問題解決プロセスが自然に出現した。
GRPO: PPO(Proximal Policy Optimization)の変形で、参照モデルなしにグループ内の相対的な報酬で方策を最適化する。計算効率が高く、大規模MoEモデルの訓練に適している。
アーキテクチャ仕様
| 項目 | 仕様 |
|---|---|
| 総パラメータ | 671B(MoE) |
| アクティブパラメータ | 37B(推論時) |
| コンテキスト長 | 128K tokens |
| 訓練データ | 14.8T tokens(V3ベース) |
| ライセンス | MIT(商用利用可) |
ベンチマーク性能
| ベンチマーク | DeepSeek R1 | OpenAI o1 |
|---|---|---|
| AIME 2024 | 79.8% | 74.4% |
| MATH-500 | 97.3% | 96.4% |
| Codeforces | 2029 Elo | 1891 Elo |
| GPQA Diamond | 71.5% | 78.0% |
AIMEとコーディングではo1を上回る。
蒸留モデル
DeepSeekはR1の知識を小型モデルに蒸留したバリアントも公開:
| モデル | パラメータ | ベースモデル |
|---|---|---|
| R1-Distill-Qwen-1.5B | 1.5B | Qwen2.5-Math |
| R1-Distill-Qwen-7B | 7B | Qwen2.5-7B |
| R1-Distill-Llama-8B | 8B | LLaMA-3.1-8B |
| R1-Distill-Qwen-14B | 14B | Qwen2.5-14B |
| R1-Distill-Qwen-32B | 32B | Qwen2.5-32B |
| R1-Distill-Llama-70B | 70B | LLaMA-3.3-70B |
R1-Distill-Qwen-7BはGPT-4oを数学タスクで上回るとされ、Apple Silicon Macでもollama経由で実行できる。
ローカル実行方法
# ollama でR1蒸留版を実行
ollama run deepseek-r1:7b # 7B版(~4.7GB)
ollama run deepseek-r1:14b # 14B版(~9.3GB)
ollama run deepseek-r1:32b # 32B版(~20GB)
ollama run deepseek-r1:70b # 70B版(~43GB)
<think>...</think>タグ内に推論プロセスが出力され、最終回答はタグ外に表示される。
DeepSeekショックの背景
R1の衝撃は「性能」だけでなく「コスト」にあった。DeepSeekはV3の訓練コストを約600万ドルと公表(対してGPT-4は推定1億ドル以上)。これが米国AI業界の株価に影響を与え、Nvidiaの時価総額が一時17%下落する事態となった。