DCLM（DataComp for Language Models）（ディーシーエルエム）

DCLM とは

DCLM（DataComp for Language Models）は、大規模言語モデルの事前学習データ品質を系統的に研究するプロジェクト。Apple Research・CMU・University of Washington・University of Illinois・UC Berkeleyが共同で2024年に発表した。データセット本体と、異なるフィルタリング手法を公平に比較するためのベンチマークスイートの両方を提供する。

キュレーションパイプライン（4段階）

1. テキスト抽出

CommonCrawlのWARCファイルからHTMLを解析し本文テキストを抽出する。

2. 品質フィルタリング

• ルールベース: 短文除去・特殊文字比率・文字種フィルタ
• 言語識別: fastTextで英語コンテンツを選別
• 品質分類器: Wikipediaとの類似度スコアリング

3. 重複除去

MinHashによる近似重複除去（Jaccard類似度0.8閾値）。文書レベルとn-gramレベルの両方で実施する。

4. 有害コンテンツ除去

URLブラックリストとテキスト分類器を組み合わせて成人コンテンツ・誤情報を除去。

ベンチマーク設計の特徴

「同一モデル・同一計算量でデータ変数のみを変えた公平比較」を実現するフレームワーク。7Bパラメータ・412Bトークン学習という固定条件でデータセット間の純粋な性能差を測定できる。

主要実験結果

• DCLM-BASELINE: 同計算量でLlama 2 7Bを+6.6ポイントMMLUで上回る
• 最適フィルタ: Wikipedia類似度スコアとfastText分類器の組み合わせが最良
• データ量vs品質: 品質より多様性が下流性能に寄与するケースも確認

データアクセス

from datasets import load_dataset

ds = load_dataset(
    "mlfoundations/dclm-baseline-1.0",
    split="train",
    streaming=True
)

研究上の意義

データキュレーション手法の「再現可能な比較」を初めて大規模に実現したプロジェクト。LLM開発者が独自のフィルタリング戦略を評価するための標準プラットフォームとして機能している。FineWeb-EduやDolma v1.7と並び、2024年の事前学習データ研究における重要な貢献として評価される。