Cosmopedia（コスモペディア）
HuggingFaceが2024年に公開した合成テキストデータセット。Mixtral-8x7B-Instructが生成した30B tokens・3,000万件の教科書・ストーリー・Wikipedia記事スタイルの教育コンテンツ。SmolLMの学習に活用された。
Cosmopedia とは
CosmopediaはHugging FaceのAnton Lozhkov、Loubna Ben Allal、Guilherme Iblisdir、Leandro von Werraらが2024年2月に公開した大規模合成テキストデータセット。Mixtral-8x7B-Instructを生成エンジンとして、多様なスタイルの教育コンテンツを3,000万件・30B tokens生成した。
生成の設計思想
MicrosoftのPhi-1論文「Textbooks Are All You Need」（2023）がヒントで、高品質な教育的テキストを大量に与えると小さなモデルでも強い性能を発揮するという仮説を検証した。
コンテンツソース
| ソース | 用途 |
|---|---|
| Wikipedia英語版 | 記事スタイルの参照元 |
| Stanford Encyclopedia of Philosophy | 哲学・論理的テキスト生成 |
| OpenStax教科書 | 学術教科書スタイル |
| KhanAcademy | 教育コンテンツスタイル |
| HackerNews/StackExchange | 技術ディスカッションスタイル |
生成スタイル
| スタイル | 件数 | 説明 |
|---|---|---|
| 教科書（学生向け） | 4.5M件 | 概念を段階的に説明 |
| 教科書（研究者向け） | 4.5M件 | 専門的・引用付き |
| ストーリー | 10M件 | 物語形式で概念を説明 |
| Wikipediaスタイル | 5.4M件 | 百科事典形式 |
| 投稿/質問スタイル | 5.6M件 | インターネット掲示板風 |
SmolLMへの貢献
Cosmopedia v2（2024年6月）はSmolLMシリーズ（135M/360M/1.7B）の学習データの主要コンポーネント。FineWeb-Eduと組み合わせて使用することで、巨大モデルと競合する性能を小モデルで達成した。
| モデル | パラメータ | ベンチマーク（ARC等） |
|---|---|---|
| SmolLM2-135M | 135M | GPT-2 125M超え |
| SmolLM2-360M | 360M | GPT-Neo 125M超え |
| SmolLM2-1.7B | 1.7B | Llama-3.2-1B競合 |
品質管理の工夫
- プロンプト多様化: 同じトピックでも対象読者・スタイル・視点を変えて複数生成
- 非反復指示: 「同じフレーズを繰り返さないこと」「具体例を含めること」等の制約
- シードトピックの広さ: 3万以上のトピックをソースから抽出し偏りを防止
よくある質問
Q1: オープンライセンスか？ A: CosmopediaはApache 2.0ライセンスで公開。HuggingFace Hub（HuggingFaceTB/cosmopedia）から無料ダウンロード可能。
Q2: FineWeb-Eduとの違いは？ A: FineWeb-Eduはウェブクロールデータを教育的価値でフィルタリングした「実在テキスト」。Cosmopediaは完全合成。両者はSmolLM訓練でセットで使われる。
Q3: Cosmopedia v2は何が変わった？ A: v2は生成プロンプトを改善し品質向上、総量を約30Bから37Bに拡大。より多様なトピックカバレッジを達成。