事前学習データキュレーション（ジゼンガクシュウデータキュレーション）

事前学習データキュレーションとは

大規模言語モデル（LLM）の性能は、使用する学習データの品質と多様性に大きく依存する。事前学習データキュレーションとは、インターネット上の膨大な生テキストデータを収集し、ノイズや低品質コンテンツを除去して、LLMが効果的に学習できる高品質なデータセットを構築するプロセス全体を指す。

主要な処理パイプライン

1. データ収集

• Common Crawl: 月次クロールで取得されるペタバイト規模のウェブデータ
• 書籍コーパス: Books3、Project Gutenberg等
• コード: GitHub、Stack Overflow
• 学術論文: arXiv、PubMed
• Wikipedia・ニュース: 高品質参照テキスト

2. 品質フィルタリング

低品質コンテンツの除去基準:

• 最低トークン数（例: 200語未満を除外）
• 記号・数字比率の異常値
• 繰り返しコンテンツの検出
• 成人向け・有害コンテンツの分類器によるフィルタリング
• ヒューリスティックルール（句読点比率、大文字率等）

3. 重複排除（Deduplication）

事前学習データにおける重複は過学習の原因となり、モデルがデータを丸暗記するリスクを高める。

• 完全一致: MD5/SHA256ハッシュによる完全重複除去
• 近似重複: MinHash + LSHによるファジー重複除去
• N-gram重複: 13-gramシングリングを用いた部分重複検出
• セマンティック重複: 埋め込みベクトルの類似度による意味的重複除去

4. 言語検出と分類

fastTextやlangdetectを用いて言語を識別し、ターゲット言語の比率を制御する。多言語モデルでは言語ごとのサンプリング比率を調整するアップサンプリング・ダウンサンプリングが重要。

5. 個人情報除去（PII Scrubbing）

• 電話番号・メールアドレスのマスキング
• 氏名・住所の正規表現マッチング
• APIキー・クレジットカード番号のパターン除去

主要データセットとその特徴

• C4 (750GB): Common Crawlをフィルタリングしたクリーンコーパス
• The Pile (825GB): 22種類の多様なドメインを含む研究用コーパス
• RefinedWeb (5TB+): Falcon LLM向けに高品質フィルタリング
• DCLM (4T tokens): DataComp-LMベンチマーク、厳格な品質評価
• FineWeb (15T tokens): Hugging Face製、Edu品質スコアリング付き
• Dolma (3T tokens): AI2によるオープンデータセット

データミキシング比率の重要性

Llama 3の事前学習では最終バッチで高品質データを繰り返し使用するdata repetition戦略が採用された。一般的なミキシング比率の例：

ウェブコーパス 70-80%、コード 10-15%、書籍・学術 5-10%、多言語 2-5%

最新トレンド（2025年）

合成データの活用

Phi-4、Gemma等では合成データ（LLMが生成したデータ）を積極的に活用。品質の高い合成データは実データの補完として有効。

教育的コンテンツのスコアリング

FineWebのEduスコアのように、教育的価値の高いコンテンツを識別・優先するスコアリングシステムが普及。

データプロバナンスと著作権

ニューヨーク・タイムズ等のメディア企業がLLM学習用データ使用に対して訴訟を提起しており、著作権クリアなデータセット構築が急務となっている。

自作PC・AI PCとの関連

ローカルLLMを動かすAI PCユーザーにとって、使用しているモデルがどのようなデータで学習されたかを理解することは、モデル選択の判断基準となる。特にコーディング能力や日本語対応は、学習データのコード比率・日本語コーパス品質に直結する。