データセット蒸留（データセットジョウリュウ）
大規模な訓練データセットの情報を極少数の合成サンプルに圧縮する技術。圧縮後の小規模データセットで学習しても元のフルデータセットと同等の性能を達成することを目指す。
データセット蒸留とは
データセット蒸留（Dataset Distillation）は、数万〜数百万件の訓練データが持つ「モデルの学習に有用な情報」を、数十〜数百件の合成サンプルに凝縮する技術である。2018年にMITの研究グループが提案した手法で、データ効率の極限を追求する研究分野として急速に発展している。
通常の学習との比較
| 項目 | フルデータセット学習 | データセット蒸留後の学習 |
|---|---|---|
| 訓練サンプル数 | 50,000件（CIFAR-10の場合） | 10〜500件 |
| 学習時間 | 数時間〜数日 | 数分〜数十分 |
| ストレージ | GB〜TB | MB |
| 精度 | ベースライン（100%） | 60〜95%（手法・圧縮率による） |
主要な手法
勾配マッチング（Gradient Matching）
合成データで計算した勾配が、元データで計算した勾配と一致するように合成データを最適化する。DC（Dataset Condensation）がこの方式の代表で、CIFAR-10において1クラス10枚の合成画像で約65%の精度を達成する。
分布マッチング（Distribution Matching）
合成データの特徴量分布が元データの特徴量分布に一致するように最適化する。勾配マッチングより計算コストが低く、大規模データセットにもスケールしやすい。
軌跡マッチング（Trajectory Matching）
元データで学習したモデルの「パラメータ更新の軌跡」を、合成データでの学習が再現するように最適化する。MTT（Matching Training Trajectories）がこの方式の代表で、勾配マッチングよりも高い圧縮効率を示す。
カーネル誘導ポイント（KIP: Kernel Inducing Points）
Neural Tangent Kernel（NTK）の理論に基づき、カーネル回帰の最適サポートポイントとして合成データを求める。理論的保証が強い反面、計算コストが高い。
応用シーン
プライバシー保護
医療データや金融データなど、個人情報を含むデータセットを蒸留することで、元データの具体的なレコードを含まない合成データセットを作成できる。差分プライバシーと組み合わせた手法も研究されている。
コンティニュアル学習
新しいタスクのデータが到着するたびに、過去タスクのデータを蒸留した小規模セットを保持しておくことで、忘却を防ぎながらメモリ効率を維持できる。
Neural Architecture Search（NAS）
候補アーキテクチャの評価に蒸留データを使うことで、NASの探索時間を大幅に短縮できる。フルデータでの評価が不要になるため、評価1回あたりのコストが100分の1以下になる事例がある。
現在の課題
- 高解像度画像（ImageNet 224×224）や自然言語データへのスケーラビリティが不十分
- 蒸留データ自体の生成に大量の計算リソースが必要（元データでの学習より高コストな場合がある）
- 蒸留データはモデルアーキテクチャに依存しやすく、異なるアーキテクチャへの転移性が限定的
FAQ
Q1: データセット蒸留と Data Augmentation の違いは？
Data Augmentation はデータを増やす方向の手法であるのに対し、データセット蒸留はデータを圧縮する方向の手法である。目的が正反対だが、蒸留データの生成過程で Augmentation が使われることもある。
Q2: テキストデータにも適用できますか？
研究段階ではあるが、LLM の蒸留学習データの圧縮や、分類タスク向けテキストの蒸留が試みられている。離散トークンの最適化が連続値の画像より困難なため、画像ほどの圧縮効率は未達成である。
Q3: 蒸留されたデータは人間が見て理解できますか？
画像の場合、初期の手法では抽象的なパターンに見える合成画像が多かったが、最新の手法では元画像に近い自然な外観を持つ合成画像の生成が可能になりつつある。