SelectIT 指示チューニングデータ自己選定（セレクトイット シジ チューニング データ ジコ センテイ）

SelectITとは

SelectIT（Self-Selecting Instruction Tuning）は2024年に発表されたSFTデータ選定アルゴリズム。LIMAの手動選定・AlpaGasusのGPT-4評価・DEITAのChatGPT評価とは異なり、ファインチューニング対象のLLM自身のセルフリフレクション（自己省察）能力を使ってデータの「学習価値」を評価する。

コアアイデア：モデルの自己評価（Self-Reflection）

LLM（特に7B以上のモデル）はある程度の自己評価能力を持つ。SelectITはこの能力を活用し、「この指示を受けたとき、どれほどの思考プロセスが必要か」をモデル自身に評価させる。モデルの自己評価スコアが「指示の学習価値」として機能する。

IFD（Instruction-Following Difficulty）スコア

IFD_SelectIT(x) = avg_token_loss(response | instruction) 
                 / avg_token_loss(response)

• 分子: 指示に条件付けた応答の平均トークン損失
• 分母: 指示なしの応答単独の平均トークン損失
• 比率が高い → 指示が応答の生成を大きく「助けている」→ 指示に大きな学習情報量がある

この比率が大きいサンプル = モデルが指示から最も学べるサンプル = 選定優先。

競合手法との特徴比較

SelectITはMoDSと同様に外部API不要だが、実装がよりシンプル。

実験結果

Llama-2-7B/13B・Mistral-7BでのAlpaca 52,000件への適用結果:

• SelectIT選定サンプル数: 約5,000〜10,000件（元の10〜20%）
• MT-Bench: 全件比較で+0.5〜+1.0ポイント改善
• AlpacaEval: 全件比較で+5〜+10%勝率改善
• 推論コスト: PPL計算のみ（A100で1〜2時間）

実装フロー（擬似コード）

for sample in dataset:
    loss_with = model.compute_loss(
        input=sample.instruction + sample.response,
        target=sample.response
    )
    loss_without = model.compute_loss(
        input=sample.response,
        target=sample.response
    )
    sample.ifd = loss_with / loss_without

selected = sorted(dataset, key=lambda x: x.ifd, reverse=True)[:K]

限界

1. モデル能力依存: 7B以下の弱いモデルではセルフリフレクション精度が低下
2. ドメイン偏り: IFDスコアのみでは多様性を保証できない
3. 応答品質の評価なし: 指示の困難度のみ評価で応答の正確性は別途チェックが必要

まとめ

SelectITはGPT-4 API不要・実装シンプル・モデル自己評価という三つの利点を持つデータ選定手法。MoDSと相補的な設計であり、両者を組み合わせることで品質・必要性・多様性の三軸を低コストでバランスよく制御できる。2024年以降のSFTデータ工学において外部依存なし路線の重要な選択肢として位置づけられる。