Dolma v1.7（ドルマバージョンいちてんしち）

Dolma v1.7 とは

Dolma（v1.7）は、Allen Institute for AI（Ai2）が開発した大規模言語モデル事前学習用データセット。2024年1月に発表され、OLMo（Open Language Model）シリーズの訓練コーパスとして設計された。「完全オープン」を哲学的コアとし、データセット本体・処理ツール・カリキュラム設計情報をすべて公開する点で業界内で高く評価される。

データ構成（3兆トークン・7ソース）

• Common Crawl: 2.2兆トークン（73%）— Webテキストの主要ソース
• GitHub: 400億トークン（13%）— オープンソースコード
• Wikipedia・Wikibooks: 180億トークン（6%）— 百科事典コンテンツ
• arXiv: 100億トークン（3%）— 学術論文
• Stack Exchange: 80億トークン（3%）— Q&Aコミュニティ
• PubMed Central: 50億トークン（2%）— 医学論文
• Project Gutenberg: 60億トークン（0.2%）— パブリックドメイン書籍

dolma toolkitによる処理

データ処理パイプラインはPython製「dolma toolkit」として全公開。処理工程は5段階: URLフィルタ → 言語識別 → 品質フィルタ → 重複除去 → PII除去。

pip install dolma

dolma mix \
  --documents s3://ai2-llm/pretraining-data/sources/common-crawl/ \
  --output s3://my-bucket/dolma-filtered/ \
  --processes 64

OLMoとの関係

Dolma v1.7はOLMo 7B（2024年2月）・OLMo 7B-0424・OLMo 2（7B/13B）の訓練データ。OLMoも学術ライセンスで重みを公開しており、訓練データ→訓練コード→モデル重みの完全な透明性チェーンを形成する。

アクセス方法

from datasets import load_dataset

ds = load_dataset(
    "allenai/dolma",
    split="train",
    streaming=True
)

for sample in ds.take(3):
    print(sample["source"], sample["text"][:100])

学術的意義

GPT-4やLlama 2はトレーニングデータを非公開としている。Dolma v1.7はデータ透明性の観点から再現可能なLLM研究を支援する稀有なリソースであり、偏り分析・有害コンテンツ研究・言語分布研究の基盤として活用される。Apache 2.0ライセンスにより商用利用も可能。