Orca合成データとは？（オルカゴウセイデータ）意味・特徴をわかりやすく解説

Orca合成データ（オルカゴウセイデータ）

MicrosoftのOrca論文が提案した、GPT-4の思考過程（Chain-of-Thought）ごと模倣する合成データ生成スタイル。単なる回答ではなく推論プロセス全体を小型モデルに蒸留する手法で、少量高品質データの優位性を示した。

0 回閲覧

0 いいね

2026/6/6 更新

Orca合成データとは

Orca合成データは、MicrosoftのMukherjeeら（2023）が提案したGPT-4の思考過程・推論チェーンごと模倣する合成データ生成スタイルです。単なる「回答の模倣」ではなく、「なぜそう回答するか」の推論プロセス全体を小型モデルに教師データとして提供することで、圧倒的に少ないデータ量でも高い性能を実現しました。

従来手法の限界

Alpaca・WizardLMなどのimitation learningベース手法では、教師モデル（ChatGPT等）の表面的な文体や応答スタイルは模倣できても、深い推論能力の移転が困難でした。Orcaはこの「模倣の浅さ」問題に取り組みます。

Orcaの中心アイデア: Explanation Tuning

システムプロンプトによる詳細引き出し

GPT-4への入力に以下のようなシステムプロンプトを付与し、詳細な思考過程を引き出します:

「段階的に説明してください」
「専門家として、なぜこの答えになるか詳しく述べてください」
「自分の考えを声に出しながら問題を解いてください」

これによりGPT-4はChain-of-Thought（CoT）形式の詳細な解説付き回答を生成します。

データ生成パイプライン

FLAN v2データ（780k+ タスク）
  ↓
サブセット選択（5M件→多様なタスク分布）
  ↓
GPT-4に「詳細説明付き」でプロンプト
  ↓
システムプロンプト付き応答を教師データ化
  ↓
Llama-13Bでファインチューニング

性能結果

Orca 13Bは:

BigBench Hard: Vicuna-13Bの約10倍、ChatGPT比に迫る性能
AGIEval: ChatGPTと同等
MT-Bench: GPT-4比で差を大幅に縮小

Orca 2（2023年11月）

Orcaの続編Orca 2は:

LLaMA-2 7B/13Bをベースに構築
「慎重な推論（Cautious Reasoning）」 をさらに強化
7B/13BサイズでGPT-3.5-turboを上回る結果
問題の種類に応じて「直接回答」「CoT」「ステップバック」を使い分ける推論戦略

phi-1・phi-2への影響

Microsoftのphi系モデルもOrcaスタイルの「高品質少量合成データ」哲学を引き継いでいます:

phi-1（1.3B）: 教科書品質の合成Pythonコードデータで訓練し、HumanEval 50.6%達成
phi-2（2.7B）: 合成教科書データで13Bモデルに匹敵

Self-Instruct/Evol-Instructとの違い

比較軸	従来手法	Orcaスタイル
模倣対象	回答テキスト	推論プロセス全体
データ量	数万〜数十万件	少量高品質を重視
教師モデル	ChatGPT（gpt-3.5）	GPT-4（思考過程付き）

まとめ

Orca合成データのアプローチは「量より質」「表面より深層の模倣」という合成データ哲学を確立しました。少量・高品質な合成データで小型モデルが大型モデルの推論能力に迫れることを実証し、phi系モデルやOpenHermesなど多数の後継プロジェクトに影響を与えています。