DeepSeek R1（ディープシークアールワン）

DeepSeek R1 とは

DeepSeek R1は中国のAI企業DeepSeekが2025年1月20日に公開したオープンソース推論モデルだ。最大の特徴は、強化学習（RL）のみで推論能力を獲得したことにある。従来の推論モデルは人間による思考プロセスの手動ラベリング（SFT cold-start）を必要としたが、R1はGRPO（Group Relative Policy Optimization）という手法で自律的に推論スキルを発達させた。

技術的革新

GRPO強化学習

R1の訓練フローは以下の通り:

1. Cold-start SFT: 数千件の長CoTデータでモデルを初期化
2. GRPO RL: 報酬モデルなしに、複数回答のグループ相対スコアで最適化
3. 拒絶サンプリングSFT: RL後の高品質応答で追加SFT
4. 多様性RL: 汎化性向上のための最終RL段階

この4段階訓練により、外部監督なしに「あ、待って」「もう一度考え直そう」のような自発的自己修正行動（aha-moment）が出現した。

ベンチマーク比較

o1とほぼ同等、一部では上回る性能をMITライセンスで実現した。

オープンソース公開の意義

DeepSeek R1のオープンソース公開は業界に大きなインパクトを与えた:

• モデルウェイト公開: HuggingFaceで全重みを無償提供
• MITライセンス: 商用利用・改変・再配布が自由
• 蒸留版展開: Qwen/Llamaベースの1.5B/7B/8B/14B/32B/70B版も公開
• API提供: DeepSeek APIで$0.55/1M tokens（入力）という低価格

ローカル実行方法

DeepSeek R1はOllama経由でローカル実行できる:

# 7B蒸留版（推奨・8GB VRAM）
ollama run deepseek-r1:7b

# 14B版（16GB VRAM）
ollama run deepseek-r1:14b

# 32B版（32GB VRAM）
ollama run deepseek-r1:32b

<think>タグ内に内部思考プロセスが表示される。

課題と制限

• 言語混在: 思考プロセスで英語・中国語が混在する場合がある
• プロンプト感度: 数式や構造化入力でのフォーマット問題が報告されている
• 安全性: 一部のジェイルブレイク脆弱性が指摘されている

まとめ

DeepSeek R1は推論モデルの民主化を象徴する存在だ。商用クローズドモデルと同等の推論能力をオープンソースで提供し、ローカルLLMの推論能力を一段引き上げた。