FineWeb-Eduとは？（ファインウェブエデュ）意味・特徴をわかりやすく解説

FineWeb-Edu（ファインウェブエデュ）

HuggingFaceが公開した教育品質フィルタ済みWebテキストデータセット。CommonCrawlから1.3兆トークンを収録し、LLaMA-3ベースの教育スコアラーで高品質コンテンツのみを選別する。MMLU・ARC等のベンチマークで同規模データセットを凌駕。

0 回閲覧

0 いいね

2026/6/6 更新

FineWeb-Edu とは

FineWeb-Eduは、HuggingFaceが2024年5月に公開した大規模言語モデル（LLM）事前学習用テキストデータセット。CommonCrawlの膨大なWebテキストから教育的価値の高いコンテンツのみを厳選し、1.3兆（1.3T）トークンのサブセットを提供する。

教育スコアラーの仕組み

LLaMA-3ベースの分類器が各テキストを0〜5の整数スコアで評価する。

スコア5: 教科書・学術論文レベルの高品質コンテンツ
スコア3〜4: 技術ブログ・解説記事等の実用的コンテンツ
スコア0〜2: スパム・広告・低品質テキスト（除外）

スコア3以上のドキュメントのみを最終データセットに収録する。

ベンチマーク性能

FineWeb-EduはDolma v1.7・The Pileと比較してMMLU・ARC-Challengeで+2〜4ポイントの優位性を示す。HuggingFace製軽量LLM「SmolLM2」シリーズの主要訓練データとして採用されており、同パラメータ数の競合モデルを上回る性能を達成している。

アクセス方法

from datasets import load_dataset

ds = load_dataset(
    "HuggingFaceFW/fineweb-edu",
    name="sample-10BT",
    split="train",
    streaming=True
)

for sample in ds.take(5):
    print(sample["text"][:200])
    print("Score:", sample["educational_score"])

注意点・ライセンス

FineWeb-Eduは英語中心のデータセットであり、日本語コンテンツは限定的。日本語LLM訓練にはCulturaX・CC-100等との組み合わせが必要。ライセンスはODC-By（帰属表示あり）。CommonCrawlからの収集・フィルタリング・スコアリングの全工程が再現可能な形で文書化されており、処理コードはHuggingFaceリポジトリで全公開されている。