データ品質スコアリング（データヒンシツスコアリング）

データ品質スコアリングとは

データ品質スコアリングは、LLMの学習に使用するテキストデータの品質を自動的に数値化する技術である。すべてのWebテキストを均等に学習させるのではなく、品質スコアの高いデータに重み付けして学習することで、同じデータ量でもモデル性能を大幅に向上させることができる。

なぜスコアリングが必要か

Common Crawlのような大規模Webコーパスには、高品質な記事から低品質なスパムまで様々な品質のテキストが混在している。全データを均等に学習させると、低品質データが「ノイズ」としてモデルの学習を妨げる。品質スコアリングにより、限られた計算資源を高品質データの学習に集中させることが可能になる。

主要なスコアリング指標

パープレキシティ（Perplexity）

KenLMやGPT-2などの言語モデルでテキストのパープレキシティを計算する。パープレキシティが極端に高いテキストは文法的に不自然、極端に低いテキストは定型文やテンプレートの可能性がある。

教育的価値スコア（Educational Value Score）

FineWeb-Eduで導入された指標。テキストがどれだけ教育的な情報を含むかを0〜5の5段階で評価する。Llama-3-70Bで学習した分類器を使用し、スコア3以上のテキストのみを採用することで、モデルの知識獲得効率が大幅に向上する。

事実正確性スコア（Factual Accuracy Score）

テキスト内の事実主張を抽出し、知識ベースや他のソースとの整合性を検証する。FActScoreやFaithfulnessスコアが代表的な指標。計算コストが高いため、重要度の高いドメインに限定して適用されることが多い。

ドメイン関連性スコア

特定のドメイン（プログラミング、科学、医療等）に対するテキストの関連度を測定する。ドメイン特化型の分類器や、ドメイン語彙のTF-IDF/BM25スコアで算出する。

スコアリングの実装アプローチ

分類器ベース

事前学習済み分類器で品質スコアを予測する。FineWeb-Eduの教育的価値分類器は、数千件のGPT-4アノテーションで学習したLlama-3-70Bベースのモデルで、推論時のコストはテキスト1件あたり数ミリ秒。

LLM-as-Judge

GPT-4やClaude等の高性能LLMにプロンプトで品質評価を依頼する。最も高精度だが、大規模データセットへの適用にはコスト面の制約がある。サンプリング評価や分類器の教師データ生成に使用される。

ヒューリスティック複合スコア

複数のヒューリスティック指標（文長、語彙多様性、段落構造、引用の有無等）を重み付け合算して総合スコアを算出する。計算コストが最も低く、数十TBのデータにも適用可能。

スコアに基づくデータ選択戦略

品質スコアの活用方法は主に3つ:

1. 閾値フィルタリング: スコアが閾値以上のデータのみを使用。最もシンプルだが、閾値設定が難しい
2. 重み付きサンプリング: スコアに比例した確率でデータをサンプリング。高品質データがより多く学習される
3. カリキュラム学習: 学習初期は低品質データも含め多様性を確保し、後半で高品質データに絞り込む

FAQ

Q1: 品質スコアリングの計算コストは？

A1: ヒューリスティック指標は1文書あたりマイクロ秒単位で、TBクラスのデータにもCPUだけで適用可能。分類器ベースは1文書あたり数ミリ秒（GPU使用時）。LLM-as-Judgeは1文書あたり数秒〜数十秒かかるため、通常はサンプリングで使用する。

Q2: 複数のスコアをどう組み合わせる？

A2: 重み付き線形結合が一般的。例えば「総合スコア = 0.4 × 教育的価値 + 0.3 × パープレキシティ正規化 + 0.2 × ドメイン関連性 + 0.1 × テキスト構造スコア」のように設定する。最適な重みは下流タスクでの性能を基準にグリッドサーチで決定する。

Q3: スコアリングは事後学習（SFT/RLHF）にも使える？

A3: 使える。SFTデータの品質スコアリングはむしろ事前学習よりも重要とされる。LLMが少量の高品質データで微調整されるため、低品質データの影響がより顕著に現れる。ALPAGASUSやDeita等の研究では、品質スコアリングによるデータ選択でSFT性能が大幅に向上している。