AI・機械学習
上級
MADLAD-400（マッドラッドヨンヒャク）
GoogleがCC-100から構築した419言語対応の大規模多言語Webコーパス。低リソース言語を含む高品質なデータセットで、多言語LLM・翻訳モデルの事前学習基盤として広く活用される。
0 回閲覧
0 いいね
2026/6/8 更新
関連タグ
多言語コーパス
Google
事前学習データ
低リソース言語
機械翻訳
MADLAD-400 完全ガイド（2025年版）
MADLAD-400とは
MADLAD-400（Massively Multilingual And Document Level Adversarial filtering of Data）は、Googleリサーチが2023年に公開した419言語対応の大規模多言語Webコーパスです。インターネット上の公開Webテキスト（Common Crawl）から多言語テキストを体系的に収集・フィルタリングし、研究コミュニティに無償公開しています。
データセット規模と構成
| 項目 | 数値 |
|---|---|
| 対応言語数 | 419言語 |
| 総トークン数（clean版） | 約2.8兆トークン |
| 総トークン数（raw版） | 約10.5兆トークン |
| 言語あたり最大 | 英語約1兆トークン |
| 公開先 | HuggingFace Datasets |
言語の多様性
419言語には以下が含まれます:
- 高リソース言語（Top 10）: 英語・中国語・スペイン語・ロシア語・アラビア語・ポルトガル語・フランス語・ドイツ語・日本語・ヒンディー語
- 中リソース言語: スワヒリ語・ハウサ語・アムハラ語（アフリカ系）
- 低リソース言語: クルド語・ソマリ語・ティグリニャ語等、従来コーパスで見落とされがちだった言語
Adversarial Filteringの段階
Stage 1: 言語識別
- fastTextベースの言語識別モデルで各文書の言語を判定
- 信頼度スコア0.7未満は除外
- 419言語それぞれに最適化された閾値設定
Stage 2: 品質フィルタリング
- 文書長フィルタ（短すぎる文書を除外）
- 文字比率フィルタ（記号・数字が多すぎる文書を除外）
- 重複排除（MinHash LSHによる近重複検出）
- 有害コンテンツ除去
Stage 3: Adversarial品質向上
- 多言語モデルでエンコードした後、言語内の異常値（外れ値文書）を検出
- 言語外コンテンツ混入文書を除去
- 文書レベルで文の言語一貫性を評価
MADLAD-400翻訳モデル
| モデル名 | パラメータ | 特徴 |
|---|---|---|
| MADLAD-400-3B-MT | 3B | 推論効率重視 |
| MADLAD-400-7.2B-MT | 7.2B | バランス型 |
| MADLAD-400-10.7B-MT | 10.7B | 高品質重視 |
FLORES-200ベンチマーク
| モデル | 高リソース言語 | 低リソース言語 | 全体平均 |
|---|---|---|---|
| MADLAD-400-7.2B | 45.8 | 31.2 | 38.5 |
| NLLB-3.3B | 43.5 | 29.8 | 36.7 |
| M2M-100 12B | 44.1 | 28.4 | 36.3 |
| Google Translate | 48.2 | 32.5 | 40.4 |
Pythonでのデータ利用
from datasets import load_dataset
# 日本語データのロード
ja_dataset = load_dataset(
"allenai/MADLAD-400",
"ja",
split="clean"
)
print(f"日本語データ件数: {len(ja_dataset)}")
# 低リソース言語（ハウサ語）
ha_dataset = load_dataset("allenai/MADLAD-400", "ha", split="clean")
print(f"ハウサ語データ件数: {len(ha_dataset)}")
倫理・バイアス問題
- 言語偏差: 英語の1兆トークンに対し、低リソース言語は数万〜数百万トークンと大きな差がある
- Webバイアス: インターネット利用率が低い地域・言語の文化・知識が過少表現
- 有害コンテンツ残留: フィルタリングでも完全除去は不可能で、毒性コンテンツが残留する可能性
- 著作権: Common Crawlのコンテンツには著作権保護コンテンツが混在
Googleはデータカードを公開し、これらの限界を文書化しています。
まとめ
MADLAD-400は、419言語という規模と体系的なAdversarial Filteringによる品質管理を組み合わせた、多言語AI研究の重要インフラです。英語中心のLLMエコシステムを越えた真の多言語AIの実現には、このような大規模多言語コーパスの整備が不可欠であり、MADLAD-400はその先駆的な例として2025年現在も多くの研究・製品開発に活用されています。