AI・機械学習
上級
MoDS モデル指向データ選定（モッズ モデル シコウ データ センテイ）
Huawei Noahが提案するSFTデータ選定手法。モデルの現在の能力（PPLベース）を参照してデータの有益性を定量化し、代表的かつ困難なサンプルを優先選定する2024年のフレームワーク。
0 回閲覧
0 いいね
2026/6/7 更新
関連タグ
SFT
データ選定
PPL
LLM
ファインチューニング
Huawei
MoDS（Model-oriented Data Selection）とは
MoDS（Model-oriented Data Selection）はHuawei Noah's Ark Labが2024年に発表したSFTデータ選定の新アプローチ。AlpaGasusやDEITAがGPT-4などの外部評価モデルに依存するのとは対照的に、ファインチューニング対象のモデル自身を品質判定器として活用する「モデル指向」設計が特徴。
基本アイデア：モデルが学ぶべきデータを自ら判定
ターゲットモデルのPPL（困惑度）を使って各サンプルの有益性を判定する。
- PPL が高い → モデルがそのサンプルを予測しにくい → 学習の余地が大きい（有益）
- PPL が低い → モデルが既にそのパターンを学習済み → 追加学習効果が少ない
MoDS の3段階フレームワーク
Stage 1: Quality Filtering（品質フィルタ）
軽量LLM（Alpaca-7B等）を使って明らかな低品質・有害サンプルを除去。外部API不要。
Stage 2: Data Coverage（多様性確保）
Embeddingによるクラスタリングで多様なドメイン・タスクを均等にカバーするサンプルを選定。
Stage 3: Necessity Filtering（必要性フィルタ）
ターゲットモデルのPPLを使って各サンプルの「学習必要性」を評価し、既習知識のサンプルを除外。これがMoDSの核心的な貢献。
necessity_score = PPL_target(response | instruction)
評価結果
| 手法 | データ量 | Open LLM Leaderboard相対値 |
|---|---|---|
| 全件（52k Alpaca） | 52,000 | ベースライン |
| AlpaGasus | 9,000 | +2.1pt |
| DEITA | 6,000 | +2.8pt |
| MoDS | 4,000 | +3.2pt |
4,000件という少量データで全件・AlpaGasusを上回る結果を報告。
GPT-4 API不要の利点
- コスト削減: API費用ゼロ（自社GPUのみ）
- プライバシー: 訓練データを外部サービスに送信不要
- 再現性: API応答の確率的変動に左右されない
- 適応性: ターゲットモデルが変われば自動的に評価が変わる
実装上のポイント
PPL計算コスト（52,000件・7Bモデル・A100 40GB×1枚）:
- 所要時間: 約2〜4時間（バッチサイズ16〜32）
- データ量に対して線形スケール
閾値設定目安:
- 品質フィルタで全体の30〜40%を除去
- 多様性クラスタで均等サンプリング
- 必要性スコア上位20〜30%を最終選定
- 最終データ量: 元の8〜15%が実用的
まとめ
MoDSはGPT-4依存を排除し、ターゲットモデル自身のPPLを使ってデータの「学習必要性」を内部評価するアプローチ。コスト・プライバシー・適応性の面でAlpaGasus・DEITAの代替として有力であり、クローズドソースAPIなしでデータ選定を完結させたい実務ユーザーに特に有用。