ウェイトシェアリング（LLM）（ウェイトシェアリング）
LLMの複数Transformerレイヤー間でパラメータを共有することでモデルサイズを削減する技術。ALBERTが提唱した手法でパラメータ数を大幅削減しつつ深いアーキテクチャを維持する。
ウェイトシェアリング（LLM）とは
ウェイトシェアリング（Weight Sharing）はTransformerの複数レイヤーで同じパラメータセットを再利用することでモデルパラメータ数を大幅削減する技術。2019年のALBERT（A Lite BERT）で大規模に実証され、BERT-largeの18分の1のパラメータ数で同等以上の性能を達成した。2024-2025年にはエッジデバイス向けLLM（MobileLLM、MiniLLM系列）で再注目されている。
ALBERT vs BERTのパラメータ比較
| モデル | パラメータ数 | レイヤー数 | GLUE平均 | VRAM |
|---|---|---|---|---|
| BERT-base | 110M | 12 | 79.6 | 1.5GB |
| BERT-large | 336M | 24 | 82.3 | 4.5GB |
| ALBERT-base | 12M | 12 (共有) | 80.1 | 0.2GB |
| ALBERT-large | 18M | 24 (共有) | 82.9 | 0.3GB |
| ALBERT-xxlarge | 235M | 12 (共有) | 90.9 | 3.5GB |
共有の2種類
1. Cross-Layer Weight Sharing（全レイヤー共有）
すべてのTransformerレイヤーが同一の重み行列を使用（ALBERT方式）。パラメータ圧縮率は最高だが、レイヤーごとの特殊化が不可能。
2. Grouped Layer Sharing（グループ共有）
12レイヤーを3グループに分け、グループ内でのみ共有。ALBERTより精度維持しやすい折衷案。
# Grouped sharing の例
group_size = 4 # 4レイヤーごとに重み共有
layers = [
TransformerLayer(shared_weights[i // group_size])
for i in range(total_layers)
]
Universal Transformer (2019)
ALBERTと同時期に提案された動的繰り返しアーキテクチャ。同一レイヤーを可変回数繰り返し適用し、難しい入力には多く繰り返す。レイヤードロッピングと逆の発想（難しいほど多く計算）。
- 理論的にチューリング完全（任意のプログラムを表現可能）
- 長距離依存の処理能力が標準Transformerより高い
- 2025年時点でMamba系列との組み合わせ研究が活発
MobileLLM（Meta, 2024）での活用
Meta AIが発表した125M/350Mパラメータ向けLLMアーキテクチャ。ウェイトシェアリングに加え以下を組み合わせ：
- 即時ウェイト共有（Immediate Weight Sharing）: 隣接レイヤー間のみ共有
- グループドクエリアテンション（GQA）: KVヘッド数削減
- 深い・細いアーキテクチャ: 幅を狭く深くする設計
結果、OPT-350Mと同パラメータ数でWinoGrande 7.2pt向上、HellaSwag 8.5pt向上を達成。
2025年のトレンド: LoRAとの組み合わせ
ウェイトシェアリングしたベースモデルに対してLoRAアダプターをレイヤーごとに別々に付加することで、共有による能力制限を緩和：
| 設定 | パラメータ数 | タスク適応 |
|---|---|---|
| 純粋ウェイト共有 | 最小 | 不可 |
| ウェイト共有+共有LoRA | 小さい | 限定的 |
| ウェイト共有+独立LoRA | 中程度 | 可能 |
| 標準独立レイヤー | 最大 | 完全 |
エッジデバイスでの実績
- Raspberry Pi 5 (8GB): MobileLLM-125M が 35トークン/秒
- iPhone 15 Pro: ALBERT-base ファインチューニングモデルが分類タスクでオンデバイス実行
- Qualcomm NPU: ウェイト共有モデルはキャッシュ効率が高くNPUアクセラレーションと相性良好
よくある質問（FAQ）
Q1: ウェイトシェアリングで精度が落ちる主な原因は何か？ A: 各レイヤーが独立した特徴抽出を行えないことが主因。浅い層は構文、深い層は意味を担当するが、共有するとこの分業が崩れる。グループ共有やLoRA追加で緩和できる。
Q2: GPT系（デコーダ）への適用は有効か？ A: BERT（エンコーダ）より効果が薄い傾向がある。自己回帰生成では各レイヤーの特殊化が重要で、全共有では生成品質が大幅低下するケースが多い。グループ共有（3-4レイヤーグループ）なら有効。
Q3: MobileLLMは日本語対応しているか？ A: Meta公式の125M/350Mモデルは英語中心。2025年時点でコミュニティベースの日本語ファインチューニング版（7億トークン日本語コーパス使用）が公開されている。
まとめ
- ウェイトシェアリングはレイヤー間でパラメータを共有するLLM圧縮技術
- ALBERT-xxlargeはBERT-largeの1/1.4パラメータで高性能を達成
- MobileLLMでエッジデバイス向けに再注目（2024-2025年）
- グループ共有+LoRAの組み合わせが2025年のベストプラクティス
- NPU/Neuralエンジンとのキャッシュ効率相性が特に良好