スプリット学習（LLM向け分割学習）（スプリットガクシュウエルエルエムムケブンカツガクシュウ）
LLMを複数の層グループに分割し、各パーティが担当層のみを保持して学習する分散プライバシー保護手法。フェデレーテッド学習と異なり中間アクティベーションのみを交換し、モデル全体を各クライアントに配布しない。
スプリット学習（Split Learning）は、LLMをネットワークの途中（カットレイヤー）で分割し、複数パーティが各担当部分を保持したまま協調学習する手法。フェデレーテッド学習との最大の違いは「モデル重みをクライアントに配布しない」点であり、大規模LLMを計算能力の低いクライアント端末でも部分的に活用できる。
スプリット学習の動作原理
[クライアント（病院端末）]
入力データ x
↓ 前半層（Layer 1〜L_cut）で順伝播
スマッシュドデータ h（中間アクティベーション）
↓ ネットワーク経由で送信
[サーバ（クラウド）]
スマッシュドデータ h を受信
↓ 後半層（Layer L_cut+1〜N）で順伝播
損失計算 → 逆伝播 → ∂L/∂h をクライアントへ送信
[クライアント]
受け取った勾配で前半層を更新
元データ x はクライアントから出ない。サーバが見るのはスマッシュドデータ h のみ。
カットレイヤーの選択
カットレイヤーの位置は精度・プライバシー・通信コストのトレードオフを決定する。
| カット位置 | クライアント計算量 | 通信データ量 | プライバシー |
|---|---|---|---|
| 第1層後 | 最小 | 大（高次元h） | 低（hが入力に近い） |
| 中間層 | 中 | 中 | 中 |
| 最終層前 | 最大 | 小（低次元h） | 高（hが抽象的） |
Llama 3 8B（32層）では8〜12層でカットが実用的とされる（2024年論文）。
フェデレーテッド学習との比較
| 比較軸 | Split Learning | Federated Learning |
|---|---|---|
| モデル配布 | なし（サーバが後半を保持） | 全クライアントにモデル配布 |
| クライアント計算 | 前半層のみ | 全モデル学習 |
| 通信内容 | スマッシュドデータ+勾配 | モデル重み差分 |
| GPU要件（クライアント） | 低（前半層のみ） | 高（全モデル） |
| プライバシー | 中（hからの復元リスクあり） | 中（モデル反転攻撃リスク） |
| 通信効率 | 低〜中（逐次通信） | 高（非同期OK） |
プライバシーリスクと対策
スマッシュドデータからの情報漏洩
中間アクティベーション h からの入力復元攻撃（Feature Reconstruction Attack）が報告されている。
対策:
- Noisy Smashed Data: hにガウスノイズを加算（精度劣化と引き換え）
- Dropout on Smash: カットレイヤー直前にDropout（p=0.5）を追加
- SMPC（Secure Multi-Party Computation）: hを暗号化して送信（計算コスト大）
- Adversarial Perturbation: hに敵対的摂動を加えながら精度維持
2025年の主要研究
| 論文/システム | 内容 | 効果 |
|---|---|---|
| SplitFed (AAAI 2023) | Split + Fedを組み合わせ | 両者の弱点を補完 |
| PrivateSplit (2024) | DP付きスプリット学習 | ε=6で医療精度-5%のみ |
| LLM-Split (NeurIPS 2024) | Llama 3への大規模適用 | 32層→8/24分割で精度95%維持 |
| SplitAdapter (2025) | LoRA + スプリット学習 | クライアント計算量50%削減 |
よくある質問（FAQ）
Q1: スプリット学習はフェデレーテッド学習より良いのか？ A: 用途次第。クライアントのGPUが弱い場合（スマホ・IoT端末）はスプリット学習が有利。クライアントが高性能GPUを持つ企業間連合（病院間連携等）はフェデレーテッド学習が通信効率で有利。
Q2: スプリット学習は並列処理できるか？ A: 基本のスプリット学習は逐次処理でクライアントAが学習中はクライアントBが待機する。SplitFedやU-ShapeなどのバリアントでN:1並列化が可能だが実装が複雑になる。
Q3: カットレイヤーをどう選ぶべきか？ A: クライアントのGPUメモリとネットワーク帯域で決まる。前半層が多いほどクライアントGPU使用量増・通信量減。一般的にはLlama 3 8Bで8〜12層が実用的とされる。
まとめ
- スプリット学習 = LLMを2部分に分割し、入力データをクライアントに保持
- クライアントGPU要件が低くIoT・スマートフォン向けに有利
- スマッシュドデータからの情報漏洩リスクがあり、ノイズ/SMPCで対策
- 2025年はLoRA + スプリット学習のハイブリッドが研究最前線