クロスデバイス連合学習（クロスデバイスレンゴウガクシュウ）
クロスデバイス連合学習とは、スマートフォン・IoTデバイス・エッジ端末など数百万台規模の末端デバイスが参加する連合学習形態で、低帯域・間欠接続・デバイス異質性に対応した軽量プロトコルが特徴である。
クロスデバイス連合学習（Cross-Device Federated Learning）
クロスデバイス連合学習とは、スマートフォン・タブレット・IoTセンサー・ウェアラブルデバイスなど数百万〜数十億台のエンドユーザーデバイスが参加する大規模連合学習の形態である。Google Gboard（予測入力）やApple Siri（音声認識改善）で2019年から実運用されており、エッジAIの中核技術として定着している。
クロスサイロ型との違い
| 特性 | クロスデバイス | クロスサイロ |
|---|---|---|
| 参加者数 | 数百万〜数十億台 | 2〜100組織 |
| 通信帯域 | 低帯域（4G/5G/Wi-Fi） | 高帯域（専用線/VPN） |
| 接続安定性 | 間欠的（充電中のみ等） | 常時接続 |
| デバイス性能 | 不均一（iPhone 15 ↔ 旧型Android） | 比較的均一（サーバーGPU） |
| データ量/端末 | 少量（数百〜数千サンプル） | 大量（数万〜数百万サンプル） |
| ラウンド参加率 | 0.01〜1%（ランダム選択） | 100%（全員参加が基本） |
| 信頼性 | 低（悪意ある端末の混入可能性） | 高（契約・法的拘束あり） |
| 主な用途 | 予測入力、音声認識、レコメンド | 医療、金融、法務のLLM訓練 |
実運用事例
Google Gboard
- 2019年から連合学習で予測入力を改善
- 1ラウンドあたり数千〜数万台がランダム参加
- 端末条件: 充電中・Wi-Fi接続・アイドル状態
- FedAvg + DP（ε=8.9、後にε=1.1まで強化）
- 通信量: 1ラウンドあたり端末1台 1.5MB以下
Apple Siri / QuickType
- iOS 16以降で連合学習を活用
- デバイス上のSecure Enclaveで勾配計算
- Appleの「on-device intelligence」方針と連携
- 具体的なパラメータは非公開だが、DPとセキュアアグリゲーションの併用が推測される
Meta（旧Facebook）
- Instagram/FacebookのレコメンドモデルにPapaya（内部FLフレームワーク）を使用
- 数十億台のモバイル端末から学習
- 2024年にLlama系モデルのオンデバイスファインチューニングを実験
技術的課題と解決策
1. デバイス異質性（Systems Heterogeneity）
- スマートフォンのGPU/NPU性能差が100倍以上（Snapdragon 8 Gen 3 vs 旧型MediaTek）
- 解決策: 適応的ローカルエポック数、モデルプルーニングによるクライアント別軽量化、知識蒸留
2. 通信効率
- モバイル回線のアップロード帯域は下り比10分の1（5Gでも上り100Mbps程度）
- 解決策: 勾配量子化（1-bit/2-bit SGD）、Top-Kスパース化（K=0.1%で90%の情報保持）、FedPAQ（周期的平均量子化）
3. クライアント選択
- 全端末の参加は不可能（電力消費・通信コスト）
- 解決策: Oort（YuらMLSys 2021）による動用性・データ品質・システム性能を考慮したインテリジェントクライアント選択。参加率0.1%でもIID仮定下で収束保証
4. プライバシー強化
- エンドユーザーデータは最も機密性が高い
- 解決策: ユーザーレベルDP（ε=1〜4）+ セキュアアグリゲーション + TLS暗号化の三重保護
LLMへの適用展望
2026年現在、クロスデバイス連合学習のLLMへの適用は以下の段階にある:
- 実用化済み: 小規模モデル（〜100Mパラメータ）の予測入力・自動補完
- 実験段階: 1B〜3Bモデルのオンデバイスファインチューニング（Apple MLX、Qualcomm AI Engine利用）
- 研究段階: 7B+モデルのクロスデバイスFL（メモリ・通信制約で実用は2027年以降と予測）
Qualcomm Snapdragon 8 Gen 4（2025年）のNPUは45 TOPS性能を持ち、QLoRA（4-bit量子化 + LoRA rank=4）で3Bモデルのローカル学習が初めてモバイル端末で可能になった。
よくある質問（FAQ）
Q1: クロスデバイス連合学習の電力消費はどの程度ですか？ A: Google Gboardの実装では、1ラウンドのローカル学習でバッテリーの0.1〜0.3%を消費。条件として「充電中かつバッテリー80%以上」を要求することで、ユーザー体験への影響をゼロにしている。
Q2: オフラインのデバイスは連合学習に参加できますか？ A: 連合学習は各ラウンドでオンラインのデバイスのみが参加する。オフライン端末はスキップされ、次回オンライン時に最新のグローバルモデルを受信して次ラウンドに参加する。非同期FL（FedBuff）では参加タイミングの制約がさらに緩和される。
Q3: 数百万台規模で中央サーバーのスケーラビリティは大丈夫ですか？ A: Googleの実装では階層的アグリゲーション（リーフサーバー→中間サーバー→ルートサーバー）で負荷分散。クライアント選択により1ラウンドの実参加者を数千台に制限し、gRPCストリーミングで効率的に通信する。
まとめ
- クロスデバイスFLは数百万台のモバイル端末が参加する大規模連合学習
- Google Gboard・Apple Siri・Meta Papayaで実運用実績あり
- 通信効率化（量子化・スパース化）とクライアント選択がスケーラビリティの鍵
- LLMへの適用はQLoRA + 最新NPUで3Bモデルまでがモバイル端末で実行可能に