AI・機械学習
上級
トレーニングデータ（トレーニングデータ）
機械学習モデルの学習に使う入力データ。教師あり学習では「入力 + 正解ラベル」のセット、自己教師あり学習では大量の生データを使う。データ品質が精度を決定する。
0 回閲覧
0 いいね
2026/5/2 更新
関連タグ
AI
機械学習
LLM
ImageNet
Common Crawl
概要
トレーニングデータ（Training Data / 訓練データ）は、機械学習モデルが学習する際に使う入力データセットを指す。教師あり学習（Supervised Learning）では「入力 + 正解ラベル」のセット、自己教師あり学習（Self-Supervised Learning、LLM 等）では大量の生テキスト / 画像 / 音声を使う。データの量と品質がモデル精度を直接決定するため、AI 研究の最も重要な構成要素である。2026 年現在、LLM 訓練は 1-15 兆トークン規模、画像生成 AI は数十億枚規模のデータセットで実施されている。
主要なオープンデータセット（2026 年）
画像系
| データセット | 規模 | 用途 |
|---|---|---|
| ImageNet | 1,400 万枚 / 21,841 クラス | 画像分類の業界標準 |
| COCO | 33 万枚 / 200 万 BBox | 物体検出 / セグメンテーション |
| LAION-5B | 50 億枚画像-テキスト対 | Stable Diffusion 等の AI 画像生成 |
| Open Images V7 | 900 万枚 | Google 提供、多目的 |
| Objects365 | 200 万枚 / 365 クラス | 物体検出ベンチマーク |
| Cityscapes | 5,000 枚 | 自動運転、都市風景セグ |
テキスト / コード
| データセット | 規模 | 用途 |
|---|---|---|
| Common Crawl | 月 270B トークン | LLM 訓練の主要源 |
| The Pile | 825 GB / 825B トークン | EleutherAI、研究用 LLM |
| RedPajama-Data-v2 | 30T トークン | OSS LLM 訓練 |
| FineWeb / FineWeb-Edu | 15T トークン | HuggingFace、品質フィルタリング済 |
| StarCoder Data | 1T トークン | コード LLM、78 言語 |
| GitHub Public Repos | 200B+ ファイル | Copilot 系 LLM 訓練 |
音声 / 音楽
| データセット | 規模 | 用途 |
|---|---|---|
| Common Voice | 19,000+ 時間 / 100+ 言語 | 音声認識 OSS |
| LibriSpeech | 1,000 時間 | 英語音声認識ベンチマーク |
| AudioSet | 200 万 動画クリップ | Google 音響イベント分類 |
| MusicCaps | 5,500 曲 + キャプション | 音楽生成 AI |
大規模 LLM 訓練（公開モデル）
| モデル | 訓練トークン | リリース |
|---|---|---|
| Llama 3.3 70B | 15T | 2024-12 |
| Llama 4（予定） | ~30T | 2025-2026 |
| GPT-4 | ~13T（推定） | 2023 |
| Claude 4.7 | 非公開 | 2026 |
| Mistral Large 2 | 8T | 2024 |
| DeepSeek-V3 | 14.8T | 2024-12 |
データ収集 / 前処理の主要工程
- 収集: Web スクレイピング、公式 API、公開データセット、社内ログ
- 重複排除（Dedup）: Exact / Near-duplicate を検出・削除
- 品質フィルタリング: Perplexity / 言語識別 / NSFW 検出 / PII マスキング
- アノテーション: 人手 + AI（SAM 2 / DINOv2 等の半自動化）
- Train/Val/Test 分割: 通常 80/10/10、時系列なら時間軸分割
- データバージョニング: DVC / lakeFS / Quilt で再現性確保
法的 / 倫理的論点（2026 年）
- 著作権: NYT vs OpenAI 等の訴訟、Fair Use の境界が議論中
- ライセンス: Common Crawl の各サイト ToS / robots.txt 順守
- プライバシー: GDPR / CCPA / 個人情報保護法、PII マスキング必須
- バイアス: 訓練データのバイアスがモデル出力に反映
- データ汚染: ベンチマークがトレーニングデータに混入する問題
PC / 個人開発者の活用
- 個人 ML 学習: HuggingFace Datasets で 100,000+ データセット無償取得
- 画像分類モデル: ImageNet → Transfer Learning で個人プロジェクトに応用
- LLM Fine-tuning: Common Crawl 由来 OSS LLM をローカル微調整
- データセット作成: Label Studio + 自前収集で独自モデル訓練
関連用語との違い
| 用語 | 違い |
|---|---|
| バリデーションデータ | モデル選択用、訓練には使わない |
| テストデータ | 最終評価用、一度だけ使う |
| 推論データ | 本番運用時の入力、訓練後 |
| アノテーション | 訓練データへの正解付与作業 |
よくある質問
Q1: LLM の訓練に 15T トークンとは何文字くらい？ A: 約 60 兆文字（英語）。Wikipedia 全体（30 億文字）の 20,000 倍。Common Crawl + GitHub + 学術論文 + 書籍が主要源。
Q2: 個人で LLM を訓練するのは可能？ A: ゼロから訓練は GPU コスト数千万円〜で非現実的。LoRA Fine-tuning なら RTX 4090 1 台で実施可能、データセット 1,000-10,000 件で個人ドメイン特化モデルが作れる。
Q3: 訓練データのバイアスを軽減する方法は？ A: (1) 多様な情報源 (2) PII / 差別表現フィルタリング (3) RLHF（人間のフィードバック強化学習）で出力調整 (4) Constitutional AI（Anthropic 手法）で安全性向上、が四大手法。
まとめ
- 機械学習モデルが学習する 入力データセット
- 2026 年は LLM 訓練が 1-15T トークン規模、画像生成は 数十億枚
- 量と 品質フィルタ + 法令順守 が精度と倫理の鍵