LLM合成データ拡張（エルエルエムゴウセイデータカクチョウ）
GPT-4やClaude等の強力なLLMを使って高品質なinstruction-followingデータを人工的に生成する技術。Self-InstructやEvol-Instructなどの手法でデータ生成コストを大幅に削減しつつモデル性能を向上させる。
LLM合成データ拡張（Synthetic Data Augmentation）
LLM合成データ拡張とは、既存の強力な大規模言語モデル（GPT-4、Claude等）を使って、ファインチューニング用の高品質なinstructionデータを人工的に生成する技術である。人間によるデータ作成の1/10以下のコストで同等以上の品質を実現できる場合があり、2024-2025年のLLM開発で主要な技術となった。
概要と発展
合成データ生成の流れは、Stanford Alpaca（2023年3月）がGPT-3.5で52Kのinstruction dataを$500以下で生成したことに始まる。その後Self-Instruct、Evol-Instruct（WizardLM）、Orca方式と手法が洗練され、Phi-3シリーズ（Microsoft, 2024年）では合成データ主体の学習で小規模モデルの性能を飛躍的に向上させた。
主要な生成手法
| 手法 | 提案元 | 原理 | 生成品質 | 代表的データセット |
|---|---|---|---|---|
| Self-Instruct | Wang et al. (2023) | シード例から再帰的にinstruction生成 | 中 | Alpaca 52K |
| Evol-Instruct | WizardLM (2023) | instructionを段階的に複雑化 | 高 | WizardLM 250K |
| Orca方式 | Microsoft (2023) | GPT-4のCoT推論を模倣 | 高 | Orca 2 |
| SPIN | UCLA (2024) | 自己対戦による反復改善 | 高 | SPIN Data |
| Magpie | AI2 (2024) | LLMの自然な応答から抽出 | 中-高 | Magpie 300K |
| Persona-driven | Ge et al. (2024) | 多様なペルソナでの応答生成 | 高 | Persona Hub |
Self-Instructの仕組み
- 175個のシードタスク（人手作成）を用意
- LLM（GPT-3/4）にシードタスクを例示し、新しいタスクを生成させる
- 生成されたタスクにLLMで応答を生成
- 品質フィルタリング（重複除去、長さ制約、ROUGE類似度チェック）
- 通過したデータを次の生成ラウンドのシードに追加
- 2-5を繰り返し、大規模データセットを構築
Alpacaでは52,000件の生成に約$500（GPT-3.5使用時）、数時間で完了した。
Evol-Instruct（WizardLM）
Self-Instructの発展形で、instructionの複雑度を段階的に上げる手法。
進化の方向（5種類）：
- 制約追加: 「JSONで出力し、各フィールドにバリデーションを含めてください」
- 推論深化: 「なぜその答えになるのか、3段階の論理で説明してください」
- 具体化: 「Python 3.12のmatch-case文を使って実装してください」
- 入力複雑化: 「マルチスレッド環境でのデッドロック回避を考慮して」
- ステップ増加: 「設計→実装→テスト→デプロイの4段階で回答してください」
各ラウンドで既存instructionを1つの方向にランダムに進化させ、LLMが応答を生成。5ラウンドの進化で元のinstructionの5倍の複雑度を実現。
品質検証手法
合成データの品質を保証するための検証方法：
| 検証手法 | 評価対象 | ツール/基準 |
|---|---|---|
| IFEval | instruction-following能力 | 25種の検証可能制約 |
| MT-Bench | マルチターン会話品質 | GPT-4による1-10スコア |
| AlpacaEval 2.0 | 応答品質 | GPT-4 win-rate判定 |
| 人手評価 | 総合品質 | 5段階Likertスケール |
| 自動フィルタ | 形式・長さ・重複 | ルールベース検証 |
コスト削減効果
| データ作成方法 | 1000件あたりコスト | 品質(MT-Bench) | 所要時間 |
|---|---|---|---|
| 人手作成（専門家） | $5,000-10,000 | 8.5/10 | 1-2週間 |
| 人手作成（クラウドソース） | $500-1,000 | 6.5/10 | 3-5日 |
| GPT-4合成 | $50-200 | 7.5-8.0/10 | 数時間 |
| GPT-3.5合成 | $5-20 | 6.0-7.0/10 | 数時間 |
| オープンLLM合成 | $0（計算コストのみ） | 5.5-7.0/10 | 数時間-1日 |
よくある質問（FAQ）
Q1: 合成データで学習したモデルは「モデル崩壊」しませんか？ A: 単一モデルの出力だけで何世代も学習を繰り返すとモデル崩壊（分布の縮退）が発生します。これを防ぐには、複数の異なるモデルで生成、自然データとの混合（30-70%）、品質フィルタリングの強化が有効です。Phi-3の成功は、多様な合成パイプラインと厳格な品質管理の組み合わせによるものです。
Q2: 合成データの著作権・ライセンス上の問題はありますか？ A: 法的にグレーな領域です。OpenAIの利用規約ではGPT出力を競合モデルの学習に使用することを制限しています。Llama等のオープンモデル出力については各ライセンスに従います。2025年時点で判例は限定的であり、自社モデル出力の利用が最も安全です。
Q3: どのような用途で合成データが特に有効ですか？ A: コード生成（HumanEvalで実証）、数学推論（GSM8K/MATH向け）、instruction-following（IFEval向け）で特に有効です。一方、最新の事実知識を要するタスクや、文化的ニュアンスが重要なタスクでは人手データの優位性が残ります。
まとめ
- Self-Instruct/Evol-Instruct/Orca方式が主要な合成データ生成手法
- GPT-4合成データは人手作成の1/50以下のコストで7-8割の品質を実現
- Phi-3の成功により合成データ主体の学習が本格化
- 品質検証（IFEval/MT-Bench）と自然データとの混合が成功の鍵