AI・機械学習
上級
Multi-head Latent Attention（マルチヘッドレイテントアテンション）
DeepSeekが開発したKVキャッシュ圧縮技術。低ランク潜在ベクトルにKV情報を圧縮し、MHAと比較してKVキャッシュを93%以上削減する。
0 回閲覧
0 いいね
2026/6/8 更新
関連タグ
LLM
アテンション
KVキャッシュ
DeepSeek
メモリ最適化
Multi-head Latent Attention（MLA）とは
Multi-head Latent Attention（MLA）は、DeepSeekが2024年5月のDeepSeek-V2で初めて導入したアテンション機構です。大規模言語モデルの推論時ボトルネックであるKVキャッシュのメモリ使用量を劇的に削減することを主目的として設計されました。
従来技術との比較
| 技術 | KVキャッシュ比率 | 特徴 |
|---|---|---|
| MHA（Multi-Head Attention） | 100%（基準） | ヘッドごとにK,V保持 |
| GQA（Grouped-Query Attention） | ~25% | 複数ヘッドでKV共有 |
| MQA（Multi-Query Attention） | ~3% | 全ヘッドで単一KV |
| MLA | ~6.8% | 潜在圧縮＋Up-projection |
MLAはGQAより更に削減しながら、MQAで問題となる表現力低下を潜在ベクトルのランク確保により回避します。
技術メカニズム
KV圧縮（Compression）
入力隠れ状態h_tを低ランク行列W_DKVで圧縮し、潜在ベクトルc_KV（次元d_c ≪ d_head × n_head × 2）を生成します。
c_KV = W_DKV × h_t # 圧縮: high-dim → low-dim latent
KV展開（Up-projection）
アテンション計算時に潜在ベクトルc_KVを各ヘッドのK,Vに展開します。
K_i = W_UK_i × c_KV # 展開: latent → per-head K
V_i = W_UV_i × c_KV # 展開: latent → per-head V
RoPE分離設計
位置エンコーディング（RoPE）をMLAと分離するため、Decoupled RoPEを採用。Query側にもc_Qを用いた低ランク圧縮を適用し、さらにメモリを削減します。
DeepSeekでの採用実績
- DeepSeek-V2（2024-05）: MLA初導入。67B総パラメータでLlama3 70Bを上回る性能を1/3のKVキャッシュで実現
- DeepSeek-V3（2024-12）: MLA + MoE統合。671Bモデルでフロンティア級性能を達成
- DeepSeek-R1（2025-01）: 推論特化モデルでもMLA採用。長チェーン思考でのメモリ効率を確保
実装上の注意点
- Up-projection行列（W_UK, W_UV）はキャッシュしないため、計算量はMHAより増加する
- Flash Attention 3との統合には追加対応が必要（Up-projection fusionカーネル）
- LoRAファインチューニング時は低ランク行列の分解設計に注意が必要
普及状況（2025年）
MLA自体はDeepSeek独自実装ですが、概念はvLLM・SGLangのKVキャッシュ最適化に影響を与えています。Llama 4はGQAを継続使用していますが、将来世代ではMLA採用の可能性が議論されています。