コンテキスト蒸留（Context Distillation）とは、大規模言語モデルにおいてプロンプトやシステム指示に含まれる知識・振る舞いをモデルのパラメータ自体に内在化させる技術である。推論時のプロンプト長を削減しつつ、同等の出力品質を維持することを目的とする。
PC構成ビルダーで最適なパーツを選択
コンテキスト蒸留（Context Distillation）は、LLMの推論コストを削減しながら出力品質を維持するための重要な技術である。従来、モデルに特定の振る舞いをさせるにはシステムプロンプトやFew-shotサンプルを毎回入力する必要があったが、コンテキスト蒸留ではこれらの知識をモデルのパラメータに直接焼き込む。
コンテキスト蒸留は2022年にAnthropicが発表した論文「Constitutional AI」の中で体系化された手法で、教師モデル（Teacher）がリッチなプロンプト付きで生成した出力を、生徒モデル（Student）がプロンプトなしで再現できるように訓練するプロセスである。2026年現在、GPT-4o、Claude 4、Gemini 2.0 Proなど主要LLMの事前学習・後処理パイプラインに広く組み込まれている。
基本的なワークフローは以下の通り：
| 手法 | トークン削減率 | 品質維持率 | 訓練コスト | 適用例 |
|---|---|---|---|---|
| 基本コンテキスト蒸留 | 60-80% | 93-96% | 低（数時間） | 汎用チャットボット |
| Chain-of-Thought蒸留 | 40-60% | 95-98% | 中（1-2日） | 推論タスク |
| プロンプト内在化 | 80-95% | 90-94% | 低（数時間） | API応答最適化 |
| 教師-生徒蒸留 | 70-90% | 94-97% | 高（数日-1週間） | モデル圧縮 |
| 自己蒸留 | 50-70% | 96-99% | 中（1-3日） | 品質向上 |
GPT-4oのシステムプロンプトキャッシュ機能と組み合わせ、頻繁に使用されるプロンプトパターンを自動的に蒸留する「Prompt Caching + Distillation」パイプラインを2025年に導入。API利用料金を平均45%削減。
Constitutional AIの基盤技術としてコンテキスト蒸留を活用。Claude 4シリーズでは、数百ページの安全性ガイドラインを蒸留によりモデルに組み込み、推論時のシステムプロンプトを最小化。
Gemini 2.0 Proで「Instruction Tuning via Distillation」を採用。1.5 Proの長コンテキスト（200万トークン）での出力を蒸留し、短コンテキストでも同等性能を実現。
Llama 3.1-405Bを教師モデルとし、70B/8Bへの知識蒸留を実施。HuggingFaceのTRL（Transformer Reinforcement Learning）ライブラリに蒸留パイプラインを標準搭載。
| 技術 | 目的 | 手法 | コスト |
|---|---|---|---|
| コンテキスト蒸留 | プロンプト知識の内在化 | 教師-生徒学習 | 中 |
| 知識蒸留 | モデル圧縮 | 大→小モデル転写 | 高 |
| ファインチューニング | タスク特化 | 追加学習 | 中-高 |
| プロンプトエンジニアリング | 出力制御 | プロンプト設計 | 低 |
| RAG | 外部知識活用 | 検索+生成 | 低-中 |
Q1: コンテキスト蒸留とファインチューニングの違いは何ですか？ A: コンテキスト蒸留はプロンプトに含まれる「指示・ルール・振る舞い」をモデルに内在化させる技術で、ファインチューニングはタスク固有のデータでモデル全体を再訓練する手法です。蒸留はより狭いスコープ（特定のプロンプトパターン）に焦点を当て、少ないデータと計算コストで実現できます。
Q2: どの程度のデータ量が必要ですか？ A: 基本的なコンテキスト蒸留では1,000-10,000件の教師出力ペアで十分な品質が得られます。Chain-of-Thought蒸留の場合は5,000-50,000件が推奨されます。データの多様性（入力パターンのカバレッジ）が量よりも重要です。
Q3: 蒸留後にモデルの安全性は低下しますか？ A: 適切に実施すれば低下しません。Anthropicの研究では、安全性ガイドラインを含むコンテキストを蒸留した場合、プロンプト付きの場合と同等以上のjailbreak耐性を示すことが報告されています。ただし蒸留データに安全性に関する例が不足すると劣化する可能性があるため、Constitutional AIフレームワークとの併用が推奨されます。
Q4: 推論コストはどの程度削減できますか？ A: 一般的に入力トークンの30-70%を削減可能です。GPT-4o APIの場合、入力10ドル/100万トークンに対し、蒸留後は3-7ドル/100万トークン相当の削減効果があります。大量リクエストを処理するプロダクション環境では月額数千-数万ドルのコスト削減につながります。