AI・機械学習
中級
Qwen2.5 7B Instruct(キュウェンニーテンゴナナビーインストラクト)
Alibaba Cloudが2024年9月に公開した70億パラメータの命令追従型言語モデル。128Kコンテキスト・29言語対応・18兆トークン訓練で、7Bクラス最高水準のコーディング・数学性能を誇る。
0 回閲覧
0 いいね
2026/6/8 更新
関連タグ
SLM
Alibaba
多言語
ロングコンテキスト
コーディング
Qwen
Qwen2.5 7B Instruct とは
Alibaba CloudのQwenチームが2024年9月に公開した70億(7B)パラメータの命令追従型言語モデル。Qwen2シリーズの後継として、訓練データ・コンテキスト長・多言語能力・コーディング性能のすべてで大幅な改良を実現した。
主要スペック
| 項目 | 仕様 |
|---|---|
| パラメータ数 | 7.6B(76億) |
| 訓練トークン数 | 18兆トークン |
| コンテキスト長 | 128K(入力)/ 8K(出力) |
| 対応言語数 | 29言語 |
| ライセンス | Apache 2.0 |
| 公開先 | Hugging Face・ModelScope・Ollama |
18兆トークン訓練
Qwen2.5の最大の改良点は訓練データ規模の大幅拡大。Qwen2の7Bモデルが使った訓練データより2倍以上の18兆トークンを使用。特に:
- コーディングデータ: コード量を2倍以上増加(GitHub・コード解説サイト等)
- 数学データ: 数学証明・解法・問題集を大量追加
- 指示追従データ: RLHF・DPOのプリファレンスデータを高品質化
128K コンテキストウィンドウ
7BクラスのSLMとしては異例の128,000トークンコンテキストを持つ。これは:
- 一般的な書籍1冊(約10万字)を丸ごと入力可能
- 長大なコードベース全体を一括レビュー可能
- 超長文の要約・翻訳・QA処理に対応
実用上は「LLM Longbench」等のロングコンテキストベンチマークでトップ水準のスコアを記録。
多言語対応(29言語)
対応言語一覧(主要):
- 東アジア: 日本語・中国語(繁体・簡体)・韓国語
- 西欧: 英語・ドイツ語・フランス語・スペイン語・イタリア語・ポルトガル語
- 東欧: ロシア語・ポーランド語・チェコ語等
- 東南アジア: ベトナム語・タイ語・マレー語等
- 中東: アラビア語・ヘブライ語等
日本語性能: 7Bクラスでは最高水準の日本語理解・生成能力を持ち、日本語ローカライズされたアプリケーションのベースモデルとして採用が多い。
ベンチマーク性能
| ベンチマーク | Qwen2.5 7B | Llama 3.1 8B | Gemma 2 9B |
|---|---|---|---|
| MMLU | 74.2% | 73.0% | 71.3% |
| HumanEval | 76.9% | 72.6% | 40.2% |
| GSM8K | 91.6% | 84.5% | 76.7% |
| MATH | 52.5% | 51.9% | 44.3% |
コーディング(HumanEval)・数学(GSM8K・MATH)での圧倒的な強さが特徴。
Qwen2.5シリーズ全体像
Qwen2.5は7Bのみでなく以下のモデルラインを展開:
- 0.5B / 1.5B / 3B: 超小型エッジ向け
- 7B: バランス型(本モデル)
- 14B / 32B: 高性能用途
- 72B: フラグシップ(GPT-4oクラスと競合)
- Qwen2.5-Coder: コーディング特化
- Qwen2.5-Math: 数学特化
- QwQ-32B: 推論特化(DeepSeek R1と競合)
ローカル実行
# Ollama でのインストール
ollama pull qwen2.5:7b
ollama run qwen2.5:7b
# llama.cpp (GGUF 4-bit量子化)
./llama-cli -m qwen2.5-7b-instruct-q4_k_m.gguf -p "日本語で説明して:"
8GB VRAM(4-bit量子化)でRTX 3070/4060 TiクラスのGPUで実用速度動作。
まとめ
Qwen2.5 7B Instructは128Kコンテキスト・29言語・18兆トークン訓練という三拍子が揃った7Bクラスの最強クラスモデル。特にコーディングと数学での性能は同規模モデルを大きく上回り、日本語対応の高さから国内での採用事例も多い。Apache 2.0という商用フレンドリーなライセンスも普及を後押ししている。