DeepSeek-V2 MoE 2024（ディープシークブイツーモエ2024）
DeepSeek 2024年5月発表 MoE LLM。総236B / アクティブ 21B・GPT-4 同等性能・推論コスト Llama 3 比 42%
概要
DeepSeek-V2 は 2024年5月7日に中国 DeepSeek（深圳、2023年7月創業、量子ヘッジファンド High-Flyer Capital 傘下）が発表した革新的 Mixture-of-Experts LLM（論文 arXiv:2405.04434「DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model」）。総パラメータ 236B（2360億）・アクティブパラメータ 21B（推論時に計算される実数）・8.1T トークン学習・GPT-4 同等性能（MT-Bench 8.97）・推論コスト Llama 3 70B 比 42% で世界の AI コミュニティに衝撃を与えた。
DeepSeek の革新点は MLA（Multi-head Latent Attention）+ DeepSeekMoE アーキテクチャの組合せ：(1) MLA は KV キャッシュを 93.3% 圧縮（推論メモリ大幅削減）(2) DeepSeekMoE は 160 expert 中アクティブ 6 のスパース構成で計算効率最大化。さらに「shared expert」（全アクティブ）と「routed expert」（選択的アクティブ）を組合せる Fine-grained Expert Segmentation 技術で従来 MoE の精度問題を解決。
API 価格は GPT-4 ($30/1M トークン)の 1/100 = $0.27/1M トークンで「価格破壊」「コスト革命」と評価され、Aider・Cline・Cursor 等の AI コーディングツールで採用急増。中国系 LLM の世界市場進出を加速させた歴史的モデル。
主な特徴・仕組み
- アーキテクチャ: Mixture-of-Experts + MLA（Multi-head Latent Attention）
- 総パラメータ: 236B（2360億）
- アクティブパラメータ: 21B（推論時計算量、総 9%）
- エキスパート構成: 160 expert（routed） + 2 shared expert
- アクティブ Expert: トークンごとに 6 / 160 を選択（top-k routing）
- 学習データ: 8.1T トークン（中国語 + 英語 + コード）
- コンテキスト長: 128K トークン
- MLA 効果: KV キャッシュ 93.3% 圧縮（推論時メモリ削減）
- 性能: MT-Bench 8.97（GPT-4 0613 = 8.96 同等）・MMLU 78.5%
- 推論コスト: Llama 3 70B 比 42%・GPT-4 比 1%（DeepSeek API）
- OS バージョン: V2 (2024-05)・V2.5 (2024-09 改良)・V3 (2024-12 後継機)
スペック比較表
| 項目 | DeepSeek-V2 (2024) | Mixtral 8x22B | Llama 3 70B | GPT-4 |
|---|---|---|---|---|
| 総パラメータ | 236B (MoE) | 141B (MoE) | 70B (Dense) | ~1.8T 推定 |
| アクティブ | 21B | 39B | 70B | unknown |
| コンテキスト | 128K | 64K | 8K (拡張可) | 128K |
| MT-Bench | 8.97 | 8.66 | 8.95 | 9.18 |
| MMLU | 78.5% | 77.8% | 79.5% | 86.4% |
| API $ / 1M トークン | $0.27 | $1.20 | $0.59 (Together) | $30 |
具体例・対応製品
- DeepSeek Chat API: $0.14/1M 入力・$0.28/1M 出力・OpenAI 互換 API
- DeepSeek-V2-Chat (HuggingFace 2024-05): 公式 fine-tune 版、対話最適化
- DeepSeek-Coder-V2 (2024-07): V2 派生のコード生成特化、Codeforces 1700+ レーティング
- Aider DeepSeek Coder V2: AI コーディングアシスタント、DeepSeek 採用で月額 $5 程度
- Ollama deepseek-v2: ローカル動作（236B は 472GB VRAM 必要、現実は API 利用）
選び方・注意点
- API 価格破壊: GPT-4 ($30/1M) の 1/100、Claude 3.5 Sonnet ($15/1M) の 1/56
- コーディングタスク: DeepSeek-Coder-V2 は Codeforces で人間プログラマー 1700+ 級
- 236B のローカル動作: 472GB VRAM 必要、H100 80GB 6基構成・現実は API 利用
- MLA の革新性: KV キャッシュ圧縮率 93.3% で長文プロンプト推論が劇的に高速化
- 中国系の地政学リスク: 米国制裁・データ規制・GPU 制限等の影響リスクあり
- 2024-12 V3 発表: 671B 総 / 37B アクティブで更に進化、V2 は中堅モデル化
- オープンソース: モデル weights 公開（DeepSeek License）、商用利用可
関連用語との違い
| 用語 | 違い |
|---|---|
| DeepSeek-V2 (2024) | 236B/21B MoE・MLA・$0.27/1M |
| DeepSeek-V3 (2024) | 671B/37B MoE・後継機 |
| Phi-3.5-MoE (2024) | 42B/6.6B MoE・Microsoft 小型 |
| OLMoE (2024) | 7B/1.3B MoE・Allen AI 完全オープン |
| Snowflake Arctic (2024) | 480B/17B MoE・Databricks 系 |
よくある質問（FAQ）
Q1: なぜ DeepSeek API はこんなに安い？ A: (1) MoE で計算量 9% に圧縮 (2) MLA で KV キャッシュ削減 (3) 中国国内 GPU クラスタで人件費・電気代低 (4) High-Flyer ファンドの戦略投資で利益度外視・市場シェア獲得優先。$0.27/1M で「持続可能か」議論あるが、2026 年も継続中。
Q2: GPT-4 と比べて性能差は？ A: MT-Bench で 8.97 vs 9.18 でほぼ同等、MMLU で 78.5% vs 86.4% で GPT-4 優位。一般タスクでは違い感じにくい、専門領域（医療・法律）で GPT-4 優位だが、API 価格差 100 倍を考えるとコスパで DeepSeek 圧勝。
Q3: MLA とは何が革新的？ A: Multi-head Latent Attention は KV キャッシュを「潜在ベクトル」に圧縮することで、Multi-head 構造の冗長性を削減。従来 Multi-Query Attention・Grouped-Query Attention の延長で、KV キャッシュ 93.3% 圧縮 + 性能維持の両立を実現。長文 RAG で特に効果。
まとめ
- 中国 DeepSeek 2024年5月発表・MoE 革命モデル
- 236B 総 / 21B アクティブ・MT-Bench 8.97（GPT-4 同等）
- MLA で KV キャッシュ 93.3% 圧縮
- API $0.27/1M で GPT-4 の 1/100 価格
- Aider・Cline・Cursor で採用急増・中国系 LLM 世界進出加速