Glot500（グロット ゴヒャク）

Glot500 — 500言語対応の低資源言語多言語LLM

概要

Glot500はスウェーデンのウプサラ大学（Uppsala University）言語技術部門の研究チームが2023年にACL（Association for Computational Linguistics）で発表した多言語大規模言語モデル。XLM-RoBERTaをベースに500言語以上をカバーするGlot500-cコーパスで継続事前訓練を実施。低資源言語（資源が少ない・デジタルリソースが乏しい言語）のNLP研究を推進し、言語的多様性の保全を目指す学術的プロジェクト。

対応言語規模

Glot500は既存の多言語LLMで最大級の言語カバレッジを持つ。521言語のうち多くがデジタルリソースの乏しい低資源言語。

対応言語の特徴

Glot500が対応する521言語の分類：

高資源言語（High-resource）: 英語・中国語・スペイン語など主要20言語

中資源言語（Mid-resource）: ウルドゥー語・スワヒリ語・カタルーニャ語など100言語程度

低資源言語（Low-resource）: 残り400言語以上

• アフリカの少数民族言語（ヨルバ語・ハウサ語・アムハラ語の派生言語等）
• 太平洋島嶼言語（マオリ語・サモア語・トンガ語等）
• 先住民族言語（ケチュア語・ナワトル語等）
• 中央アジア言語（カザフ語・ウズベク語・トルクメン語等）
• コーカサス言語（ジョージア語・アルメニア語等）

Glot500-cコーパス

Glot500-cコーパス構築:

データソース:
  CC-100（Common Crawl派生）
    + Opus（翻訳コーパス）
    + Bible Corpus（多言語聖書）
    + JW300（エホバの証人文書）
    + WikiMatrix
    + その他学術・宗教・政府文書
  ↓
言語識別・クリーニング
  - fastTextによる言語識別
  - 重複除去
  - 有害コンテンツフィルタリング
  ↓
Glot500-c（521言語・大規模コーパス）

注意点: 低資源言語のデータは聖書・宗教文書に偏る傾向がある。これはこれらのリソースが広範な言語に翻訳されている一方、世俗的テキストは少ない言語的バイアスを生む。

アーキテクチャ

Glot500はXLM-RoBERTa-baseを出発点とした継続事前訓練アプローチ：

訓練プロセス:
XLM-R base（100言語・278M params）
  ↓ 語彙拡張（421言語の新規トークン追加）
XLM-R + 拡張語彙
  ↓ Glot500-cコーパスで継続事前訓練（Masked Language Modeling）
Glot500（521言語対応）

語彙拡張: XLM-Rの元の語彙（250Kトークン）に新規言語のトークンを追加して拡張。既存語彙との共存により、既存言語の性能を維持しながら新規言語を追加。

評価結果

Glot500はSentEval・NER・テキスト分類・品詞タグ付けタスクで評価：

低資源言語での優位性:

• XLM-Rが対応していない言語（421言語）での性能: XLM-R比で大幅向上
• 低資源言語NERタスク: Glot500がmBERT・XLM-Rを平均+5〜15pt上回る

高資源言語での維持:

• 英語・スペイン語等の主要言語では性能をほぼ維持
• トレードオフとして一部高資源言語で若干の性能低下

言語保全の観点

Glot500プロジェクトは技術的な性能向上だけでなく、言語的多様性保全という社会的目標を掲げる：

現状の問題:

• 世界には約7,000言語が存在するが、主要LLMが対応するのは上位100言語程度
• デジタル格差により、少数言語話者はAI技術の恩恵を受けられない
• 言語の絶滅とともに、文化的知識・伝統が失われる

Glot500の貢献:

• 521言語へのアクセス拡大で言語的格差を縮小
• 低資源言語コーパス（Glot500-c）の公開による研究促進
• 少数言語コミュニティが自分たちの言語でNLPツールを開発できる基盤提供

限界と課題

• データの宗教偏重: 多くの低資源言語データが聖書・宗教文書由来で、世俗的テキストが少ない
• テキスト生成品質: エンコーダモデル（XLM-Rベース）のため、テキスト生成より分類・理解タスクに適する
• 評価リソース不足: 低資源言語ではベンチマーク自体が存在しない場合が多く性能評価が困難
• 方言・変種未対応: 同一言語の地域変種・方言への対応は不十分

まとめ

Glot500はNLP研究における「英語中心主義」「主要言語優先主義」に対するカウンターとして重要な存在。商用AI製品では対応困難な少数言語のNLP研究基盤として、言語技術の公平な普及に貢献している。実用面ではXLM-Rの拡張版として低資源言語の分類・固有表現認識タスクに活用される。