Multi-Head Latent Attention（MLA）（マルチヘッドレイテントアテンション）
DeepSeek-V2が提案したKVキャッシュ圧縮型アテンション機構。Key/Valueをlow-rank潜在ベクトルへ圧縮してKVキャッシュサイズを大幅削減し、MHAと同等の表現力を維持しながら推論メモリコストを87%以上削減する手法。
Multi-Head Latent Attention（MLA）とは
MLA（Multi-Head Latent Attention）は、DeepSeek-V2（2024年5月）で初採用されたアテンション機構。KVキャッシュの爆発的なメモリ消費を低ランク圧縮で解決し、MHA（Multi-Head Attention）と同等の性能を維持しながら推論コストを抜本的に削減する。
KVキャッシュ問題の背景
LLM推論ではオートリグレッション（逐次トークン生成）のためにKey/Valueをキャッシュする必要がある。MHAではヘッド数×レイヤー数×シーケンス長に比例してKVキャッシュが増大し、バッチ処理・長文処理時にGPUメモリが律速要因になる問題があった。
MLAの圧縮アーキテクチャ
低ランク潜在ベクトルへの圧縮
MLAの核心は、Key/Valueを共有の低ランク潜在ベクトルc_KVに圧縮して保存し、推論時に線形射影で復元する点にある。d_cをd_h×h（全ヘッドのKV次元）より大幅に小さく設定することで、KVキャッシュサイズを圧縮する。
RoPEとの互換性
RoPE（Rotary Position Embedding）は潜在ベクトルに直接適用できないため、MLAはRoPE用のキーを別途保持するデカップルドアーキテクチャを採用している。これにより位置情報エンコーディングの精度を犠牲にせず圧縮の恩恵を受けられる。
性能効果
DeepSeek-V2の報告：
- KVキャッシュ：MHA比で93.3%削減（h=128ヘッドの場合）
- スループット：MHA比で最大5.76倍向上（バッチ効率改善）
- 精度：LongBench等でMHAと同等以上を確認
DeepSeek-V3/R1での継承
DeepSeek-V3（2024年12月）、DeepSeek-R1（2025年1月）でもMLAを継続採用。671Bパラメータのモデルを2,048枚のH800で訓練・提供できているのもMLAによるメモリ効率化が寄与している。
GQA・MQAとの比較
| 手法 | アプローチ | KVキャッシュ削減率 | 性能への影響 |
|---|---|---|---|
| MHA | ヘッドごと独立 | 0%（基準） | 最高性能 |
| GQA | ヘッドグループ共有 | 50〜75% | わずかな劣化 |
| MQA | 全ヘッドで1セット | 85〜90% | 劣化あり |
| MLA | 低ランク潜在圧縮 | 90〜93% | MHA同等 |
まとめ
MLAはKVキャッシュ問題に対するエレガントな解法。DeepSeekの成功により、他の大手LLM開発組織もMLA採用を検討・実験中であり、2025年以降のLLMアーキテクチャのデファクトスタンダードになりうる革新技術として注目されている。