AI・機械学習
中級
Aya Expanse（アヤエクスパンス）
Cohere for AIが開発した多言語特化型LLM。23言語に対応し、限られた多言語データで高品質な指示追従を実現するための革新的学習手法を採用した2024年公開のOSSモデル。
0 回閲覧
0 いいね
2026/6/8 更新
関連タグ
多言語LLM
Cohere
Aya
多言語指示追従
低リソース言語
Aya Expanse 完全ガイド（2025年版）
Aya Expanseとは
Aya Expanseは、Cohereのリサーチ部門「Cohere for AI」とオープンリサーチコミュニティが協力して開発した多言語大規模言語モデルです。2023年のAya（多言語指示データセット構築プロジェクト）から進化し、2024年10月にAya Expanse 8B・32Bとしてモデルウェイトが公開されました。英語中心の既存LLMが苦手とする低リソース言語での高品質な指示追従を実現することを最大の目標としています。
対応言語（23言語）
| 地域 | 言語 |
|---|---|
| ヨーロッパ | 英語、フランス語、スペイン語、ドイツ語、ポルトガル語、イタリア語、オランダ語、ロシア語、ポーランド語、ウクライナ語、チェコ語 |
| 中東・南アジア | アラビア語、ヒンディー語、ウルドゥー語、ペルシャ語、トルコ語 |
| 東アジア | 中国語（簡体字・繁体字）、日本語、韓国語 |
| 東南アジア | インドネシア語、ベトナム語 |
| その他 | ハウサ語（西アフリカ低リソース） |
技術的革新: Arbitrary Preference Optimization（APO）
DPO（Direct Preference Optimization）を多言語設定に拡張したAPOは:
- 言語ごとに異なるロス重みを動的に調整
- 低リソース言語の選好ペアに高い重みを付与
- 英語と低リソース言語の性能バランスを最適化
モデルマージ
Aya EapnseはCommand R+（Cohereの汎用モデル）をベースに多言語特化ファインチューニングモデルとのモデルマージを実施。SLERP/TIES等のマージ手法を組み合わせることで、英語性能を保ちながら多言語性能を向上。
ベンチマーク性能
| モデル | 多言語平均スコア | 低リソース言語スコア |
|---|---|---|
| Aya Expanse 32B | 0.712 | 0.651 |
| Aya Expanse 8B | 0.687 | 0.623 |
| Llama 3.1 70B | 0.698 | 0.589 |
| Llama 3.1 8B | 0.651 | 0.541 |
| Mistral 7B | 0.623 | 0.498 |
Aya Evalは23言語でのInstruction-followingとカルチャー理解を評価
Aya Datasetsエコシステム
- Aya Dataset（2024年）: 119言語、65名以上の研究者コントリビューター、513K件の多言語指示データ
- Aya Collection: 多言語指示データのキュレーション済みコレクション
- Aya Eval: 多言語LLMの包括的評価フレームワーク
利用例
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name = "CohereForAI/aya-expanse-8b"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
messages = [
{"role": "user", "content": "製品の返品ポリシーを説明してください。"}
]
prompt = tokenizer.apply_chat_template(messages, tokenize=False)
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0]))
Aya Expanse vs 他の多言語LLM
| 比較項目 | Aya Expanse 8B | Llama 3.1 8B | BLOOM-7B |
|---|---|---|---|
| 多言語特化 | 高（23言語最適化） | 中（英語中心） | 高（46言語） |
| 低リソース言語 | 強み | 弱点 | 弱点（データ不足） |
| 指示追従品質 | 高 | 高 | 低（旧世代） |
| ライセンス | CC BY-NC | Llama 3.1 | BigScience BLOOM |
| パラメータ | 8B / 32B | 8B | 7B |
まとめ
Aya Expanseは、多言語LLM研究における重要なマイルストーンです。APOによる言語不均衡の解消・モデルマージによる効率的な多言語適応・大規模コミュニティデータ構築の三本柱が、英語中心のLLMエコシステムに多様性をもたらします。2025年現在、低リソース言語コミュニティへのAIアクセス拡大という観点から注目を集めており、後続の多言語LLM開発に影響を与え続けています。