蒸留用データセット（ジョウリュウヨウデータセット）
蒸留用データセットとは、大規模言語モデル（教師モデル）の出力を利用して生成・収集された学習データで、小型モデル（生徒モデル）のファインチューニングに使用される合成データやアノテーション付きコーパスの総称である。
蒸留用データセットは、LLMの知識蒸留において「合成データ蒸留」アプローチの中核をなす要素である。GPT-4やClaude等の大規模モデルのAPIを使って生成した高品質なInstruction-Responseペアを、小型モデルの学習データとして使用する。この手法はlogitアクセスが不要なため、商用APIモデルからの蒸留にも適用可能で、2023年以降のオープンソースLLM急成長の原動力となった。
代表的な蒸留用データセット
| データセット | 規模 | 教師モデル | 生成方法 | ライセンス | 品質スコア |
|---|---|---|---|---|---|
| Alpaca | 52K | text-davinci-003 | Self-Instruct | CC BY-NC 4.0 | 中 |
| Dolly 2.0 | 15K | 人手作成 | クラウドワーカー | CC BY-SA 3.0 | 高 |
| OpenHermes 2.5 | 1M | GPT-4/Claude | 複合生成 | Apache 2.0 | 高 |
| UltraChat | 1.47M | GPT-3.5-turbo | 多段対話生成 | MIT | 中〜高 |
| Orca | 5M | GPT-4 | 推論過程付き | 研究限定 | 最高 |
| Magpie | 4M | Llama 3.1 405B | Self-Align | Apache 2.0 | 高 |
| WizardLM Evol-Instruct | 250K | ChatGPT | 進化的指示拡張 | 不明確 | 中〜高 |
データ生成手法の分類
蒸留用データの生成手法は大きく4つに分類される：
- Self-Instruct: Wangら(2023)が提案。シードタスク175件から教師モデルが新しいInstruction-Input-Outputの3つ組を自動生成。Alpacaデータセットの基盤技術。生成コストは52Kサンプルで約$500（GPT-3.5使用時）
- Evol-Instruct: WizardLMで使用。既存Instructionを「複雑化」「具体化」「制約追加」等の変換で進化させる。5段階の進化で元データの3倍の多様性を実現
- 推論チェーン付き生成: Orca手法。教師に「Step-by-step reasoning」を要求し、推論過程を含むResponseを生成。生徒が「なぜそう答えるか」まで学習できるため、単純なQ&Aデータより性能向上幅が大きい
- Self-Alignment: Magpie手法。教師モデル自身が入力（質問）と出力（回答）の両方を生成。Llama 3.1 405Bで400万ペア生成し、蒸留先のLlama 3.1 8Bが大幅に性能向上
データ品質の評価基準
蒸留データの品質は最終モデルの性能に直結するため、以下の基準で評価・フィルタリングする：
- 正確性: 事実誤認（Hallucination）を含まないか。GPT-4-as-Judgeで各サンプルをスコアリングし、スコア3/5未満を除外するのが一般的
- 多様性: タスクカテゴリ・文体・長さの偏りがないか。TF-IDF cos類似度で近すぎるサンプル対を検出・除外
- 複雑性: 単純な一問一答だけでなく、多段推論・コード生成・数学等を含むか。IFD（Instruction Following Difficulty）スコアで測定
- 安全性: 有害・差別的・プライバシー侵害コンテンツを含まないか。Llama Guard等のセーフティモデルでフィルタリング
ライセンスと法的リスク
蒸留データセットには重要な法的問題がある：
- OpenAIの利用規約: GPT-4/ChatGPTの出力を使って競合モデルを学習させることは規約違反。Alpaca、ShareGPT等のデータセットは法的にグレーゾーン
- Anthropicの利用規約: Claudeの出力を用いた競合モデル学習を禁止する条項がある（2024年3月更新）
- Llama系の許容性: Meta Llama Licenseでは、Llamaの出力を他モデルの学習に使用することを明示的に許可（月間7億MAU以下）。Magpie等のデータセットが合法的に生成可能
- EU AI Act: 2025年施行。学習データの出所・ライセンス・バイアスの文書化が義務化。蒸留データの追跡可能性（Provenance）が法的要件に
データ量と品質のトレードオフ
蒸留データの量と品質の関係は以下のように整理される：
- LIMA原則: Zhouら(2023)が提示。わずか1,000件の超高品質データでGPT-3.5相当の性能を達成。「量より質」を実証した画期的研究
- Phi-1のTextbook approach: Microsoftが提示。合成テキストブック6Bトークンが、Web crawl 100Bトークンより効果的。「教科書品質」のデータが鍵
- スケーリング則の修正: 蒸留データはWeb crawlデータと異なるスケーリング則に従う。10K超高品質 ≈ 100K中品質 ≈ 1M低品質の関係（タスク依存）
合成データ蒸留の実行コスト
| 規模 | 教師モデル | API料金 | 生成時間 | 生徒の学習時間 |
|---|---|---|---|---|
| 10K | GPT-4-turbo | $50〜$150 | 2〜4時間 | 1〜2時間（A100×1） |
| 100K | GPT-4-turbo | $500〜$1,500 | 1〜2日 | 5〜10時間（A100×1） |
| 1M | GPT-3.5-turbo | $200〜$600 | 2〜5日 | 2〜5日（A100×4） |
| 1M | Llama 3.1 405B（自前） | $2,000〜$5,000（GPU） | 3〜7日 | 2〜5日（A100×4） |
よくある質問（FAQ）
Q1: 蒸留データはどれくらいの量が必要ですか？ A: タスクの複雑性によるが、汎用チャットモデルなら50K〜200Kペアが標準的な出発点。LIMA研究が示すように、1,000件の超高品質データでも驚くほど高い性能を達成できるため、量よりも品質と多様性を優先すべき。特定タスク特化なら5K〜20Kで十分な場合が多い。
Q2: GPT-4で生成した蒸留データを商用利用できますか？ A: OpenAIの利用規約ではGPT-4の出力を用いて競合LLMを学習させることを禁止している。商用利用する場合は、Llama 3.1 405B（Meta Llama License、月間7億MAU以下で商用可）やMistral Large（Apache 2.0）など、利用規約が許容的なオープンモデルを教師として使用することを推奨する。
Q3: 蒸留データのHallucination（事実誤認）はどう対処しますか？ A: 3段階のフィルタリングが推奨される。(1) GPT-4-as-Judgeで各サンプルの事実正確性をスコアリング（スコア4/5未満を除外）、(2) 数値・固有名詞をWikipedia/Knowledge Graphで照合検証、(3) 学習後のモデル出力をTruthfulQAベンチマークで定量評価。これにより蒸留データ由来のHallucinationを70〜90%削減できる。
Q4: 日本語の蒸留データセットはありますか？ A: 代表的なものとして、ichikara-instruction（16K、クラウドワーカー作成、CC BY 4.0）、OASST2-ja（OpenAssistant日本語部分、約5K）、databricks-dolly-15k-ja（15K、機械翻訳+人手修正）がある。規模が英語より小さいため、多言語モデル（Qwen 2.5、Llama 3等）を教師として日本語合成データを追加生成するのが実用的。
まとめ
- 蒸留用データセットはLLMの合成データ蒸留の中核要素
- Self-Instruct、Evol-Instruct、推論チェーン付き生成、Self-Alignmentの4手法が主流
- LIMA原則が示す通り、量より質。1,000件の超高品質データが100Kの中品質データに匹敵
- ライセンス問題に注意: GPT-4/Claude出力の競合モデル学習は規約違反。Llama系が安全な選択肢
- EU AI Act(2025年)により、蒸留データの追跡可能性が法的要件に