Aya Expanse（アヤ エクスパンス）

Aya Expanse — Cohere for AIの多言語特化LLM

概要

Aya ExpanseはCohere for AIが2024年10月に公開した多言語大規模言語モデルシリーズ。8Bと35Bの2モデルで構成され、23言語に対応した高品質な多言語応答生成を実現する。前世代のAya 23と比べてモデル効率と多言語性能を大幅に改善した。

主要スペック

対応言語

Aya Expanse 8B/35Bが対応する23言語：

• 欧州系: 英語、フランス語、ドイツ語、スペイン語、イタリア語、ポルトガル語、オランダ語、ポーランド語、ロシア語、チェコ語、ルーマニア語
• アジア系: 日本語、中国語（簡体字）、韓国語、ヒンディー語
• 中東・アフリカ系: アラビア語、トルコ語
• その他: ウクライナ語、ギリシャ語、ヘブライ語、ペルシャ語、ベトナム語、インドネシア語

多言語DPOの適用

Aya Expanse最大の技術革新は多言語DPO（Direct Preference Optimization）の大規模適用。従来の多言語LLMは英語データで訓練されたモデルに多言語データをファインチューニングするアプローチが多く、非英語言語での品質が劣りがちだった。

Aya Expanse では：

1. ネイティブスピーカーによる品質評価: 各言語のネイティブスピーカーが2つの応答の優劣を判定
2. 言語バランスのとれたDPOデータ: 英語偏重を避け、各言語均等な好みデータを収集
3. Ayaコミュニティとの連携: Cohere for AIが主導する世界的ボランティアコミュニティ（119カ国）からのフィードバック

これにより、Aya Expanse 8BはGPT-4o miniや競合する同規模モデルを多言語ベンチマーク（Aya Evaluation Suite）で上回る性能を達成。

ベンチマーク性能

Aya Expanse 8B（23言語平均）：

• Aya Evaluation Suite: GPT-4o mini、Gemini 1.5 Flash 8B、Llama 3.1 8Bを上回る
• 非英語言語での preference win rate: 競合8Bモデル比+8〜15pt

Aya Expanse 35B：

• GPT-4oおよびGemini 1.5 Proに匹敵する多言語性能
• 英語以外の言語でのユーザー満足度で商用クローズドモデルと同水準

Ayaコミュニティとのエコシステム

Cohere for AI研究チーム
  ↓ 基盤モデル設計・訓練
Ayaコミュニティ（119カ国ボランティア）
  ↓ 多言語データ・評価フィードバック提供
Aya Expanse（多言語DPO適用）
  ↓ Apache 2.0でオープン公開
研究者・企業（カスタマイズ・商用利用）

Ayaプロジェクトは世界中のボランティアが多言語AIデータを収集・検証するコミュニティ駆動型プロジェクト。Aya CollectionやAya Datasetなど複数のデータセットを公開しており、多言語AI研究の重要なリソースとなっている。

Apache 2.0ライセンスと商用利用

Aya Expanse 8B・35BはともにApache 2.0ライセンスで公開され、商用利用が完全に許可されている。

利用可能な場面：

• 多言語カスタマーサポートシステムの基盤モデル
• 多言語コンテンツ生成・翻訳ツール
• 非英語圏向け検索エンジン・Q&Aシステム
• 多言語教育・言語学習アプリケーション

前世代との比較

Aya 101が言語数の広さを優先したのに対し、Aya 23とAya Expanseは高品質な23言語に特化。Aya Expanseはそこにさらに多言語DPOと最新のCommand R系アーキテクチャを適用した最高品質版。

実装例

# Transformersでの利用（Aya Expanse 8B）
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "CohereForAI/aya-expanse-8b"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="auto")

messages = [
    {"role": "user", "content": "自作PCを組む際のCPUとGPUの選び方を教えてください。"}
]

inputs = tokenizer.apply_chat_template(messages, return_tensors="pt", tokenize=True, add_generation_prompt=True)
outputs = model.generate(inputs, max_new_tokens=500)
print(tokenizer.decode(outputs[0]))

# Cohere APIでの利用（Cohere APIキーが必要）
import cohere

co = cohere.Client("YOUR_API_KEY")
response = co.chat(
    model="c4ai-aya-expanse-8b",
    message="자작 PC 조립 시 CPU와 GPU 선택 방법을 알려주세요",  # 韓国語
)
print(response.text)

まとめ

Aya Expanseは多言語LLMの実用性を大幅に向上させた重要モデル。特に多言語DPOの適用により、英語以外の言語でも商用クローズドモデルに匹敵する品質を達成している。Apache 2.0での公開により、多言語AI製品・サービスの開発基盤として幅広く活用されている。