Instruction Tuning（インストラクションチューニング）
Instruction Tuningは、自然言語の指示文（instruction）と応答ペアのデータセットを用いてLLMをファインチューニングし、ユーザーの指示に正確に従う能力を獲得させる学習手法である。
Instruction Tuning（インストラクションチューニング）
Instruction Tuningとは、大規模言語モデル（LLM）に対して「指示文＋応答」のペアデータを用いてファインチューニングを行い、ユーザーからの多様な指示に正確に従えるようにする学習手法である。Google ResearchのFLANプロジェクト（2021年）で体系化され、現在のチャットAIの基盤技術となっている。
概要と背景
事前学習（Pre-training）だけでは、LLMは膨大なテキストの統計的パターンを学習するものの、ユーザーの意図に沿った応答を生成する能力は不十分である。Instruction Tuningは、この課題を解決するために「指示→応答」の明示的なペアデータで追加学習を行うアプローチだ。
2021年にGoogleが発表したFLAN（Finetuned Language Net）は、62種類のNLPタスクを統一的な指示形式に変換し、137Bパラメータモデルに適用した。結果、未知のタスクに対するゼロショット性能がGPT-3を上回り、Instruction Tuningの有効性が実証された。2022年にはFLAN-T5/FLAN-PaLMで1,800以上のタスク・473データセットに拡張され、スケーリング則も確認された。
主な手法と特徴
Instruction Tuningには複数のアプローチが存在する：
- マルチタスク統合型: FLAN、T0（BigScience）のように、既存NLPベンチマークを指示形式に変換して大規模に統合
- Self-Instruct型: GPT-3/4などの強力なモデルで指示データを自動生成し、ターゲットモデルを学習（Stanford Alpaca、WizardLM）
- 蒸留型: GPT-4やClaude 3.5の出力を教師データとしてオープンモデルを学習（Orca、Orca 2）
- 人手キュレーション型: Dolly 2.0（Databricks、15,000件の人手作成データ）、OpenAssistant（35,000件のクラウドソーシングデータ）
- 合成データ拡張型: Evol-Instruct（WizardLM）で既存指示を段階的に複雑化、UltraChat（1.5M対話ペア）
| 手法 | データ規模 | ベースモデル | 特徴 | 公開年 |
|---|---|---|---|---|
| FLAN | 62タスク | LaMDA 137B | マルチタスク統一 | 2021 |
| FLAN-v2 | 1,800タスク | PaLM 540B / T5 | スケール拡大 | 2022 |
| Self-Instruct | 52K指示 | GPT-3 davinci | 自動データ生成 | 2022 |
| Alpaca | 52K指示 | LLaMA 7B | 低コスト蒸留 | 2023 |
| Orca | 5M推論ペア | LLaMA 13B | 推論プロセス蒸留 | 2023 |
| Dolly 2.0 | 15K人手 | Pythia 12B | 商用利用可能 | 2023 |
学習パイプラインの構成
典型的なInstruction Tuningのパイプラインは以下の4段階で構成される：
- データ収集・生成: 指示文（instruction）、入力（input、任意）、出力（output）の3つ組を収集。手動作成、既存NLPデータの変換、またはLLMによる自動生成
- データクリーニング: 重複排除、有害コンテンツフィルタリング、品質スコアリング。Alpacaでは52,000件中約10%を品質不足で除外
- ファインチューニング: LoRA（Low-Rank Adaptation）やQLoRA（4bit量子化LoRA）を使用し、メモリ効率的に学習。A100 80GBで7Bモデルなら約3時間、RTX 4090 24GBでもQLoRAなら実行可能
- 評価: MT-Bench（マルチターン対話評価）、AlpacaEval（自動比較評価）、MMLU（知識評価）で性能を検証
代表的なデータセット
Instruction Tuningに使用される主要データセットは多岐にわたる：
- FLAN Collection: 1,800以上のNLPタスクを統一テンプレートで変換。学術ベンチマーク網羅性が最高
- ShareGPT: ChatGPTとの実対話ログ約90,000件。実ユーザーの多様な質問パターンを反映
- OpenAssistant Conversations (OASST): 35,000件のクラウドソーシング対話ツリー。多言語対応（35言語）
- UltraChat: 1.5M件のGPT-3.5/4合成対話。質問の多様性と応答品質のバランスが優秀
- SlimOrca: OpenOrcaからGPT-4応答のみを抽出した518,000件。コスト効率重視
- Capybara: 16,000件の多ターン対話。複雑な推論チェーン対応
実装例とフレームワーク
2025-2026年の主要な実装フレームワーク：
- Hugging Face TRL（Transformer Reinforcement Learning）: SFTTrainer で Instruction Tuning を数行で実装。LoRA/QLoRA自動統合
- Axolotl: YAML設定ベースの高速学習ツール。マルチGPU対応、DeepSpeed ZeRO-3統合
- LLaMA-Factory: 100以上のモデル対応のGUIツール。データセット混合比率の自動最適化
- OpenLLM: vLLMベースのサービング。Instruction Tuned モデルのデプロイに特化
学習コストの目安として、LLaMA 3.1 8BモデルをQLoRAで52Kデータセットに対してInstruction Tuningする場合、RTX 4090（24GB VRAM）1枚で約4時間、電力コストは約¥200程度である。
関連技術との違い
| 比較軸 | Instruction Tuning | RLHF | Prompt Engineering |
|---|---|---|---|
| モデル変更 | あり（重み更新） | あり（重み更新） | なし（推論のみ） |
| データ | 指示-応答ペア | 人間の好み比較 | プロンプト文のみ |
| コスト | 中（GPU数時間） | 高（報酬モデル＋PPO） | 低（API呼び出しのみ） |
| 効果持続 | 永続（モデルに内蔵） | 永続（モデルに内蔵） | 一時的（コンテキスト依存） |
| 典型コスト | ¥200-50,000 | ¥50,000-500,000 | ¥0-1,000/推論 |
よくある質問（FAQ）
Q1: Instruction TuningとRLHFの違いは何ですか？ A: Instruction Tuningは「正解応答」を直接学習する教師あり学習（SFT）であり、RLHFは「人間がどちらの応答を好むか」という相対的な選好データから報酬モデルを構築し強化学習で最適化する手法です。通常、Instruction Tuning（SFT）→ RLHF の順で適用します。
Q2: 少量のデータでもInstruction Tuningは効果がありますか？ A: はい。LIMA（Meta、2023年）の研究では、わずか1,000件の高品質な指示-応答ペアでGPT-4に匹敵する応答品質を達成できることが示されました。データの量よりも質（多様性・正確性・詳細度）が重要です。
Q3: Instruction Tuningに必要なGPUスペックはどの程度ですか？ A: 7Bモデルの場合、QLoRA（4bit量子化）を使えばRTX 4090（24GB VRAM）1枚で実行可能です。フル精度のファインチューニングには A100 80GB が2-4枚必要ですが、LoRA/QLoRAの普及により個人開発者でもアクセス可能になっています。
Q4: 日本語のInstruction Tuningデータセットはありますか？ A: はい。Japanese Alpaca（52K件の日本語翻訳）、ichikara-instruction（手作業で構築された日本語指示データ）、Databricks Dolly 15K日本語版、OASST日本語サブセットなどが公開されています。Stability AIのJapanese StableLM Instructシリーズも日本語Instruction Tuning済みモデルです。
まとめ
- Instruction Tuningは「指示→応答」ペアでLLMをファインチューニングし、指示追従能力を獲得させる手法
- FLAN（2021）で体系化、Self-Instruct/Alpaca（2022-2023）で低コスト化が実現
- QLoRAの登場によりRTX 4090 1枚でも7Bモデルの学習が可能に
- データの質が量より重要（LIMA: 1,000件で高品質な結果）
- 現在のチャットAI開発では Pre-training → Instruction Tuning（SFT）→ RLHF/DPO の3段階が標準パイプライン