DeepSeek-V2（ディープシークブイツー）
DeepSeek社が2024年5月にリリースしたMoEアーキテクチャ採用LLM。236B総パラメータ・21Bアクティブ化で、Multi-head Latent Attention(MLA)とDeepSeekMoE技術によりKVキャッシュを93%削減し高コスト効率を実現。
DeepSeek-V2 とは
DeepSeek-V2 は、中国の AI 企業 DeepSeek（深度求索） が 2024 年 5 月にリリースした大規模 Mixture-of-Experts 言語モデルです。独自の MLA（Multi-head Latent Attention） と DeepSeekMoE アーキテクチャを組み合わせ、従来モデルと比較して大幅なコスト削減を実現しました。
アーキテクチャの革新
DeepSeekMoE
通常の MoE は 8 エキスパート程度ですが、DeepSeek-V2 は細粒度エキスパート分割を採用:
- 総エキスパート数: 160（通常の 20 倍以上）
- アクティブエキスパート: 推論時は 6 エキスパートのみ使用
- 共有エキスパート: 2 エキスパートは全トークンで常時使用
この設計により各エキスパートが特定ドメインに高度に専門化され、品質が向上します。
MLA（Multi-head Latent Attention）
標準的な Multi-head Attention の KV キャッシュ問題を解決:
- KV キャッシュを低ランク潜在ベクトルに圧縮して保存
- 通常の MHA 比で KV キャッシュを 93.3% 削減
- 長文推論（128K コンテキスト）でもメモリ効率が高い
スペック一覧
| 項目 | 値 |
|---|---|
| 総パラメータ | 236B |
| アクティブパラメータ | 21B |
| コンテキスト長 | 128K トークン |
| 学習トークン数 | 8.1 兆トークン |
| エキスパート数 | 160（アクティブ 6+2） |
コスト効率
DeepSeek-V2 の API 提供価格（2024 年時点）:
- 入力: $0.14 / 1M トークン
- 出力: $0.28 / 1M トークン
GPT-4 Turbo の約 1/50 の価格帯で、性能は GPT-4 に肉薄します。この価格設定は LLM API 市場の価格競争を大幅に加速させました。
性能
- MMLU: 78.5%
- HumanEval: 81.1%
- GSM8K: 92.2%
- Math: 53.9%
中国語・英語の両言語で高い性能を示し、コーディングや数学推論でも競合モデルを上回ります。
DeepSeek-V3 との関係
DeepSeek-V3（2024 年 12 月）は V2 の後継で、671B 総パラメータ・37B アクティブに拡張。MLA + DeepSeekMoE の基本設計は継承されています。
まとめ
DeepSeek-V2 はアーキテクチャ革新（MLA + DeepSeekMoE）と圧倒的なコスト効率で LLM 業界に衝撃を与えたモデルです。128K 長文対応・高精度・低コストの三拍子を備え、ビジネス用途での採用が急拡大しています。