DeepSeek-V3（MoEモデル）（ディープシークブイスリーエムオーイーモデル）

DeepSeek-V3（MoEモデル）とは

DeepSeek-V3は、中国のDeepSeek社が2024年12月に公開したMixture-of-Experts（MoE）構造の大規模言語モデルです。総パラメータ数671B（6710億）を持ちながら、1トークンの処理に使われる有効パラメータは37B（370億）のみという効率的な設計が特徴です。

アーキテクチャの特徴

DeepSeek-V3は複数の独自技術を組み合わせています。

Multi-head Latent Attention（MLA）

MLAはKVキャッシュを低ランク行列に圧縮する注意機構で、メモリ使用量を削減しつつ長文コンテキストの処理効率を高めます。

DeepSeekMoEアーキテクチャ

DeepSeekMoEは細粒度のエキスパート分割と共有エキスパートの組み合わせを特徴とします。従来のMoEより専門化が進み、各エキスパートが特定ドメインの知識に特化できます。

補助損失なしの負荷分散

エキスパートへのトークン割り当てを均等化するための補助損失を使わない新手法を採用し、学習の安定性を向上させています。

学習規模と効率

• 学習トークン数: 14.8兆トークン
• 学習コスト: H800 GPU 2048台で約278万GPU時間（業界平均の数分の一）
• コンテキスト長: 128Kトークン対応

ベンチマーク性能

DeepSeek-V3はCoding・Math・Reasoningの各ベンチマークでGPT-4oやClaude-3.5-Sonnetと同等以上の性能を示しました。特にコーディングタスク（HumanEval、SWE-Bench）での高評価が注目されています。

オープンウェイトとしての意義

Apache 2.0ライセンスで公開されており、商用利用も含め自由に使用できます。ローカルでの実行には高性能なGPUが必要ですが、量子化版（GGUF形式）もコミュニティから提供されています。

後継モデルDeepSeek-V3-0324

2025年3月には改良版DeepSeek-V3-0324がリリースされ、Reasoningタスクの性能がさらに向上しました。DeepSeekは継続的にオープンウェイトモデルを更新しており、LLMコミュニティに大きな影響を与えています。

まとめ

DeepSeek-V3はMoEアーキテクチャの実用性を示した代表的なモデルで、低コストで高性能なLLMの実現可能性を証明しました。オープンウェイトで公開されたことで、研究・商用両面での活用が急速に広がっています。