BLOOM（ブルーム）
BigScienceコンソーシアムが2022年に公開した176Bパラメータの多言語大規模言語モデル。46言語と13種のプログラミング言語に対応し、ROOTS 1.6TBコーパスで訓練。多機関・多国籍の協調研究成果として注目された。
BLOOM — BigScienceの多言語176B LLM
概要
BLOOM（BigScience Large Open-science Open-access Multilingual Language Model）は、Hugging Faceが主導するBigScienceコンソーシアムが2022年7月に公開した176Bパラメータの多言語大規模言語モデル。46言語と13種のプログラミング言語に対応し、多機関・多国籍の協調研究による初めての大規模多言語LLMとして歴史的な意義を持つ。
基本スペック
| 項目 | 詳細 |
|---|---|
| パラメータ数 | 176B |
| 対応自然言語 | 46言語 |
| 対応プログラミング言語 | 13種 |
| 訓練コーパス | ROOTS 1.6TB |
| アーキテクチャ | Decoder-only Transformer |
| 公開日 | 2022年7月 |
| ライセンス | RAIL (Responsible AI License) |
| 訓練インフラ | Jean Zay（フランスのスーパーコンピュータ） |
BigScienceコンソーシアム
BLOOMの開発はBigScienceという大規模オープン研究プロジェクトの成果。2021年5月から約1年間にわたり運営され：
- 参加機関: 250以上の機関・企業
- 参加研究者: 1000人超
- 参加国: 70カ国以上
- 主導: Hugging Face（インフラ・調整）
- 計算資源: フランス国立科学研究センター（CNRS）のJean Zayスーパーコンピュータ（48GPU×11週間）
GPT-3（OpenAI）やPaLM（Google）と同規模のモデルを、営利企業の閉鎖的開発でなくオープンな研究コミュニティで作るというビジョンを実現。
ROOTS コーパス
BLOOMの訓練データはROOTS（Responsible Open-science Open-collaboration Text Sources）コーパス：
規模: 1.6TB、498億トークン
言語構成（主要）：
- 英語: 約30%
- 中国語: 約16%
- フランス語: 約12%
- スペイン語: 約10%
- ポルトガル語: 約5%
- アラビア語: 約5%
- その他36言語: 残り
コーパス品質管理:
- データカード（Data Cards）による各データソースの文書化
- 個人情報・有害コンテンツのフィルタリング
- ライセンス確認（CC BY-SAなど再配布可能なものを優先）
- 単言語・多言語品質スコアによるフィルタリング
アーキテクチャ詳細
BLOOMはDecoder-only Transformerをベースに以下の設計選択を採用：
BLOOMアーキテクチャ:
- 層数: 70層
- ヘッド数: 112
- 隠れ次元: 14,336
- 位置エンコーディング: ALiBi (Attention with Linear Biases)
- 語彙サイズ: 250,680トークン（多言語対応のため大規模）
- 活性化: GeLU
- 正規化: LayerNorm（前置き型）
ALiBi（Attention with Linear Biases）の採用：
- 位置エンコーディングとしてRotary PE（RoPE）でなくALiBiを選択
- 訓練時系列長（2048トークン）を超えた外挿が容易
- 多言語テキストでの汎化性能向上
RAILライセンス
BLOOMはRAIL（Responsible AI License）で公開されており、一般的なApache 2.0やMITとは異なる条件を持つ：
許可事項:
- 研究目的での利用
- 改変・ファインチューニング
- 派生モデルの公開（同じRAILで）
- 非商用サービスでの利用
禁止事項:
- 違法コンテンツ生成
- 差別・偏見の助長
- 特定の商用利用（条件付き制限）
このライセンス設計は「オープン」でありながら「責任ある利用」を担保しようとする試みで、その後のAI向けライセンス設計に影響を与えた。
BLOOMファミリー
BLOOM公開後、複数の派生・関連モデルが登場：
| モデル | 特徴 |
|---|---|
| BLOOM 560M/1.1B/1.7B/3B/7.1B | 小型版シリーズ |
| BLOOMZ | 多タスク対応版（instruction-tuned） |
| mT0 | BLOOMZと同様の多言語instruction-tuned版 |
| Petals | 分散推論サービス |
BLOOMZは特に実用性が高く、多言語でのzero-shot・few-shot性能が大幅に向上した。
歴史的意義と影響
BLOOMが多言語AI研究に与えた影響：
- 英語以外の言語へのアクセス拡大: アラビア語・スワヒリ語・ヨルバ語など、従来の英語中心LLMでは不十分だった言語への対応
- オープン研究モデルの確立: GPT-3相当規模のモデルが研究者に自由に利用可能に
- 多言語ガバナンスの実践: 多国籍チームによる開発・データキュレーション・ライセンス設計の実証
- 後継モデルへの影響: Aya、SeaLLM、Glot500など多言語特化モデルの研究基盤を提供
まとめ
BLOOMは2022年時点での多言語LLM最高峰であり、オープンサイエンスの観点から商用クローズドモデルに対抗する意欲的な取り組みだった。2026年現在では性能面で後続モデルに追い越されているが、多言語AI民主化の先駆けとして歴史的価値は高い。