コーパス（コーパス）
言語処理 / AI 訓練のために体系的に集められたテキスト・音声・画像データの集合。Common Crawl / Wikipedia / The Pile 等が代表で、LLM 訓練の基盤となる。
概要
コーパス（Corpus / 複数形 Corpora）は、言語処理（NLP）や AI 訓練のために体系的に集められたテキスト・音声・画像データの集合を指す。元はラテン語で「身体」「集合」を意味し、言語学では古くから使われる用語だった。1990 年代の統計的機械翻訳、2010 年代の Word2Vec / BERT、2020 年代の GPT / Llama / Claude 等の LLM 全てがコーパスの規模と品質に依存する。2026 年現在、Common Crawl / The Pile / RedPajama / FineWeb-Edu 等の数 TB-数十 PB 規模のコーパスが LLM 訓練の主軸である。
主要な公開コーパス（2026 年）
大規模 Web コーパス
| コーパス | 規模 | 提供元 |
|---|---|---|
| Common Crawl | 月 270B トークン | Common Crawl Foundation |
| FineWeb / FineWeb-Edu | 15T トークン | HuggingFace |
| RedPajama-Data-v2 | 30T トークン | Together AI |
| RefinedWeb | 5T トークン | Falcon LLM 開発元 |
| C4 | 156B トークン | |
| OSCAR | 数 TB | Common Crawl 派生、多言語 |
専門コーパス
| コーパス | 規模 | 用途 |
|---|---|---|
| The Pile | 825 GB | EleutherAI、研究用 LLM |
| StarCoder Data | 1T トークン | コード LLM、78 言語 |
| GitHub Public Repos | 200B+ ファイル | Copilot 系 |
| arXiv | 200 万論文 | 学術論文 |
| Wikipedia 全言語ダンプ | 数 TB（多言語） | 事実情報の宝庫 |
| Books3 / Project Gutenberg | 数 GB | 書籍データ |
| OpenWebText2 | 38 GB | Reddit リンク先 |
音声 / 画像
| コーパス | 規模 | 用途 |
|---|---|---|
| Common Voice（Mozilla） | 19,000+ 時間 / 100+ 言語 | 音声認識 OSS |
| LibriSpeech | 1,000 時間 | 英語音声 |
| LAION-5B | 50 億画像-テキスト対 | Stable Diffusion |
| ImageNet | 1,400 万枚 | 画像分類 |
| COCO | 33 万枚 | 物体検出 |
日本語コーパス
| コーパス | 規模 | 用途 |
|---|---|---|
| 国立国語研究所 BCCWJ | 1 億語 | 現代日本語書き言葉 |
| Wikipedia 日本語ダンプ | 数 GB | フリー百科事典 |
| Aozora Bunko | 17,000 作品 | 著作権切れ文学 |
| OSCAR Japanese | 数 GB | Common Crawl 派生 |
| llm-jp-corpus-v3 | 2T トークン | 日本語 LLM 訓練 |
| FineWeb-2 Japanese | 数 100B トークン | 多言語 FineWeb の日本語サブセット |
コーパス品質評価指標
- 規模: トークン数 / ファイル数 / 時間（音声）
- 多様性: ジャンル分布（ニュース / 学術 / 会話 / SNS）
- 言語: 単一 vs 多言語、各言語の比率
- 品質: ノイズ率、重複率、PII 含有率
- 新鮮度: 収集日付、トレンド追従
- ライセンス: 商用可 / 学術のみ / Web 由来の Fair Use 議論
コーパス前処理（典型ワークフロー）
1. Web スクレイピング（Common Crawl 由来）
2. 言語識別（fastText / langdetect）
3. 重複除去（MinHash + LSH）
4. 品質フィルタ（Perplexity / 文長 / URL ブラックリスト）
5. PII マスキング（メール / 電話 / 住所）
6. NSFW 検出と除去
7. 学術ベンチマーク汚染チェック
8. トークナイズ + 訓練形式変換
HuggingFace Datasets
from datasets import load_dataset
# 公開コーパスを 1 行で読込
ds = load_dataset("HuggingFaceFW/fineweb-edu", split="train", streaming=True)
for sample in ds.take(10):
print(sample["text"][:200])
100,000+ のコーパスが HuggingFace Hub に公開、load_dataset() で即座にアクセス可。
PC スペック要件（コーパス処理）
- 小規模（~10 GB）: Ryzen 7 7700X / 32 GB RAM / NVMe 2 TB
- 中規模（100 GB-1 TB）: Ryzen 9 9950X / 64 GB RAM / NVMe 4 TB
- 大規模（10 TB+）: Threadripper Pro / 256 GB RAM / NVMe 16 TB
- クラウド推奨: AWS S3 + Spark / Dask クラスタで分散処理
関連用語との違い
| 用語 | 違い |
|---|---|
| データセット | より広い概念、コーパスは言語データ特化 |
| トレーニングデータ | 訓練用途、コーパスはより包括的 |
| ベンチマーク | 評価用、コーパスは訓練 + 評価両用 |
| アノテーション付きコーパス | 正解ラベル付与済み、教師あり学習用 |
よくある質問
Q1: 個人で LLM を訓練するためのコーパスは？ A: ゼロから訓練は GPU コスト数千万円〜で非現実的。Llama 3.3 等の OSS 事前学習モデルを LoRA Fine-tuning するなら、ドメイン特化コーパス 1,000-10,000 件で個人ドメインモデルが作れる。
Q2: 日本語 LLM の訓練に Common Crawl は使える？ A: 部分的に。Common Crawl 全体の日本語比率は 5% 程度で品質バラつき大。FineWeb-2 Japanese / llm-jp-corpus-v3 のような厳選済みコーパスが推奨。
Q3: コーパス収集の著作権リスクは？ A: NYT vs OpenAI 等の訴訟で議論中。安全策: (1) 公開ライセンス（CC-BY / Apache）のみ、(2) Common Crawl の robots.txt 順守、(3) 商用利用時は法律相談。
まとめ
- 言語処理 + AI 訓練の テキスト / 音声 / 画像データ集合
- 2026 年は Common Crawl + FineWeb-Edu + RedPajama が LLM 主要源
- HuggingFace Hub で 100,000+ コーパス が即時アクセス可