DEITA データ品質・複雑性スコアリング（デイタ データ ヒンシツ フクザツセイ スコアリング）
Shanghai AI LaboratoryがAlpaGasusを発展させ複雑性と品質の両スコアを組み合わせたSFTデータ選定手法。多様性制御も加えた2024年の体系的データキュレーションフレームワーク。
DEITAとは
DEITA（Data-Efficient Instruction Tuning for Alignment）はShanghai AI Laboratory（上海人工知能実験室）が2024年1月に発表したSFTデータキュレーションフレームワーク。AlpaGasusが「品質」のみを評価したのに対し、DEITAは複雑性（Complexity）と品質（Quality）の両次元を独立に評価し、それらを組み合わせてデータを選定する。
手法の3ステップ
Step 1: 複雑性（Complexity）スコアリング
指示（Instruction）の難易度・多段階性・推論要求度をChatGPT（gpt-3.5-turbo）で評価。
- 高複雑性: 多段階の数学的推論 / コード生成+説明の組み合わせ / 複数制約を同時満たす創作
- 低複雑性: 単純な事実Q&A / 1文の言い換えタスク
Step 2: 品質（Quality）スコアリング
応答（Response）の正確性・完全性・明確性をChatGPTで評価（0〜6スコア）。
Step 3: 多様性フィルタリング
Sentence Embedding（BGE等）の類似度が閾値以上のペアをMMR的手法で除外。同テーマへの偏りを防ぐ。
IFD（Instruction-Following Difficulty）
DEITAが提案する独自指標。
IFD = PPL(response | instruction) / PPL(response)
IFD が高い = モデルが指示から多くを学べる = 価値の高いサンプル。
ベンチマーク結果
6,000件サブセットでLlama-2-13Bをファインチューニングした結果:
- WizardLM-13B（70,000件）: MT-Bench 6.35 / AlpacaEval 75.3%
- DEITA-13B（6,000件）: MT-Bench 6.60 / AlpacaEval 80.8%
70kのWizardLMデータの約1/12でMT-Benchを上回る性能を実証。
競合手法との比較
| 手法 | 複雑性評価 | 品質評価 | 多様性制御 | データ量 |
|---|---|---|---|---|
| LIMA | なし | 手動 | 手動 | 1,000 |
| AlpaGasus | なし | GPT-4 | なし | 9,000 |
| DEITA | ChatGPT | ChatGPT | MMR | 6,000 |
| SelectIT | モデル内部 | モデル内部 | なし | 可変 |
DEITAは品質・複雑性・多様性の三角バランスを自動制御する体系的な手法。
実装ガイドライン
スコアリングコスト見積もり（Alpaca 52,000件）:
- ChatGPT（gpt-3.5-turbo）: 約$20〜$30
- GPT-4: 約$200〜$300
- ローカルモデル（Llama-3 8B等）: GPU時間のみ
推奨パラメータ（参考）:
- 複雑性スコア閾値: ≥ 2.0（6段階中）
- 品質スコア閾値: ≥ 4.0（6段階中）
- 多様性フィルタ類似度閾値: ≤ 0.85
- 最終データ量目標: 元データの10〜15%
まとめ
DEITAはAlpaGasusのシンプルな品質フィルタを進化させ、複雑性・多様性を加えた三次元評価による体系的SFTデータ選定を実現。6,000件で70,000件の手法を凌駕する結果はデータ効率的アライメントの実現可能性を示し、2024年以降のSFTデータ工学の標準的参照手法となっている。