ロッタリーチケット仮説（ロッタリーチケットカセツ）
大規模ニューラルネットワークには初期化時点で小さな「当たりサブネットワーク（winning ticket）」が存在し、それだけを訓練しても元の大モデルと同等の精度が得られるとする仮説。2019年にFrankle & Carunが提唱。
ロッタリーチケット仮説とは
ロッタリーチケット仮説（Lottery Ticket Hypothesis、LTH）は2019年にMITのFrankle & Carunが発表した理論で、「大規模ニューラルネットワークには、適切な初期化パラメータを持つ小さなサブネットワーク（winning ticket / 当たりサブネット）が存在し、そのサブネットだけを最初から訓練しても元の大モデルと同等の精度が得られる」と主張する。LLMプルーニング研究の理論的基盤となっており、SparseGPT・Wandaなど2024-2025年の主要手法に直接影響を与えた。
仮説の核心
大モデルが有利な理由は「パラメータ数が多いから精度が高い」ではなく、「当たりサブネットが存在する確率が高いから」という逆転の発想。
[大モデル学習] → [マグニチュードプルーニング] → [マスク保存]
↓
[元の初期化に戻す] → [マスク適用済みサブネットで再学習] → [元と同等精度]
Iterative Magnitude Pruning (IMP)
当たりサブネットを発見するFrankle & Carunのオリジナル手法：
- 通常通りモデルを学習
- 絶対値の小さい重みを20%プルーニング
- マスク（どの重みを残すか）を保存
- 元の初期化値に戻す（ここが重要）
- マスク適用状態で1に戻り繰り返す
20-30回の反復でLeNet-300-100を3.6%パラメータ（元モデルの1/28）に圧縮しながら同等精度を達成。
LLMへの拡張（2023-2025年）
SparseGPT (2023, IST Austria)
IMPはLLMサイズでは実用的でなかったが、SparseGPTはワンショット（再学習不要）でLLMをプルーニング：
- 手法: 2次近似（ヘッセ行列）でプルーニング誤差を局所最小化
- 結果: LLaMA-2 70Bを50%スパース化してもパープレキシティ劣化が1.5%以下
- 速度: 単一A100で175Bモデルを4時間でプルーニング
Wanda (2023, CMU)
SparseGPTより更にシンプルな重要度スコア：
# Wanda重要度スコア
importance = |W_ij| * ||X_j||_2
# W_ij: 重み行列の要素
# X_j: 対応する入力アクティベーション
- SparseGPTと同等の精度でも計算コストが1/100以下
- キャリブレーションデータ128サンプルのみで実行可能
- LLaMA-2全サイズ（7B〜70B）で50%スパーシティを検証済み
ベンチマーク比較（LLaMA-2 7B, WikiText-2 perplexity）
| 手法 | スパーシティ | Perplexity | 実行時間 |
|---|---|---|---|
| 元モデル | 0% | 12.6 | - |
| Magnitude Pruning | 50% | 16.4 | 5分 |
| SparseGPT | 50% | 13.7 | 30分 |
| Wanda | 50% | 13.5 | 1分 |
| SparseGPT | 70% | 15.2 | 35分 |
| Wanda | 70% | 15.1 | 1.5分 |
スパースなLLMの実行（2025年現状）
非構造化スパーシティはGPU Tensor Coreで直接加速しにくいが、以下の方法で恩恵を得られる：
- 2:4 Structured Sparsity（NVIDIA）: 4要素中2つをゼロにする構造化スパーシティ、Ampere以降でネイティブ加速
- CPU推論（llama.cpp sparse）: AVX-512 VNNI命令でスパース行列積を効率化
- flashinfer sparse attention: スパースアテンションと組み合わせ
よくある質問（FAQ）
Q1: ロッタリーチケット仮説は証明されているのか？ A: 小〜中規模モデルでは実証されているが、GPT-4クラスの超大規模モデルでの厳密な検証は困難。Frankle自身も「LLMスケールでの仮説の成立については未解明な部分が多い」と述べている（2024年）。
Q2: Wandaは日本語LLMに適用できるか？ A: 可能。日本語キャリブレーションデータ（wikijaなど）を128サンプル用意すれば動作する。Weblab-10B・Swallow系での適用事例が2025年に報告されている。
Q3: プルーニング後のモデルをさらにファインチューニングするべきか？ A: 推奨。50%スパーシティではLoRAファインチューニングで劣化をほぼ回復できる。70%以上ではフルファインチューニング（quantization-aware training）が必要になるケースが多い。
まとめ
- ロッタリーチケット仮説は「大モデルに当たりサブネットが存在する」とする理論（2019年）
- LLM向けにSparseGPT/Wandaとして実用化（2023年）、ワンショットで50%スパース化を実現
- Wandaはキャリブレーション128サンプル・1分以内で実用的プルーニング
- NVIDIA 2:4 Structured Sparsityと組み合わせでハードウェア加速が可能
- 量子化・デプスプルーニング・LoRAとの組み合わせが2025年のLLM圧縮ベストプラクティス