Cross-Layer Attention（クロスレイヤーアテンション）

Cross-Layer Attention（CLA）とは

Cross-Layer Attention（CLA）は、Brandon Hyunら（2024年5月、arXiv:2405.12981）が提案したTransformerの最適化手法です。通常のTransformerでは各レイヤーが独立したKey（K）・Value（V）キャッシュを保持しますが、CLAでは隣接するレイヤー間でKVキャッシュを共有することでメモリ使用量を大幅に削減します。

基本原理

通常のTransformer

Layer 1: Q1, K1, V1 → Attention1
Layer 2: Q2, K2, V2 → Attention2
Layer 3: Q3, K3, V3 → Attention3

各レイヤーが独立してK,Vを計算・キャッシュ。

CLA-2（2層共有）

Layer 1: Q1, K1, V1 → Attention1  ← 新規K,V計算
Layer 2: Q2, K1, V1 → Attention2  ← Layer1のK,Vを再利用
Layer 3: Q3, K3, V3 → Attention3  ← 新規K,V計算
Layer 4: Q4, K3, V3 → Attention4  ← Layer3のK,Vを再利用

2レイヤーに1セットのKVを使用するため、KVキャッシュ量は50%削減。

CLA-3（3層共有）

3レイヤーに1セットで約66%削減。ただし性能低下がCLA-2より大きい。

性能への影響

研究によると、CLA-2は以下の特性を示します。

• Perplexity低下: MHAと比較して0.3〜0.5pt程度の軽微な増加
• 実用的な精度: LM-Eval Harness上でほぼ同等スコア
• スループット向上: 長コンテキスト生成でKVキャッシュI/Oが半減し、推論速度改善

GQA・MLAとの比較

CLAはGQAより削減率は低いですが、既存GQAモデルとの組み合わせが可能で、CLA + GQAでさらなる削減を実現できます。

採用モデル事例

• Phi-3.5-Mini（Microsoft, 2024-08）: 3.8Bパラメータで類似のレイヤー間KV共有設計を採用。スマートフォン向け推論でメモリ制約を克服
• Llama系派生モデル: コミュニティ実装で実験的採用が広がっている

エッジデバイスへの応用

CLAは特にエッジデバイス・スマートフォン向けLLM推論で重要性が高まっています。8GBメモリのスマートフォンでCLA-2採用7Bモデルを実行した場合、MHA比でコンテキスト長を2倍に伸ばせる計算になります。Apple Silicon搭載iPhoneでのオンデバイス推論においても、CLA設計がパフォーマンス改善に貢献すると期待されています。