Qwen2.5-Coder(キューウェンニーテンゴコーダー)
Alibaba Cloudが開発した32Bパラメータのコード生成特化LLM。170億トークンのコードデータで学習し、HumanEvalで92.7%を達成。
Qwen2.5-Coder とは
Qwen2.5-Coder は、中国の Alibaba Cloud(アリババクラウド)が開発したコード生成特化の大規模言語モデル(LLM)シリーズです。2024年後半にリリースされ、オープンソースコード生成モデルの性能標準を大きく引き上げた存在として注目されています。
モデルサイズと主な仕様
Qwen2.5-Coder は複数のモデルサイズを提供しています。
- 0.5B / 1.5B: エッジデバイスや組み込み用途向けの超軽量モデル
- 3B / 7B: 個人 PC や中規模サーバーで動作する実用モデル
- 14B: 高い推論能力と実用性を両立したバランスモデル
- 32B(フラッグシップ): 最大性能モデル。170億トークン超のコードデータで学習
コンテキスト長は最大 128K トークンをサポートし、長大なコードベースの解析も可能です。
学習データと技術的特徴
学習に使用されたコードコーパスは前世代の Qwen2-Coder と比較して大幅に拡張されており、GitHub・Stack Overflow・技術ドキュメント・合成データを含む多様なソースから構成されます。特に以下の点が強化されています。
- 数学的推論とコードの統合: 数学問題をコードで解く能力が向上
- マルチファイルコード理解: リポジトリ全体を文脈として扱うリポジトリレベル理解
- デバッグと修正: バグのある入力コードを受け取り、修正済みコードを出力するタスクへの対応
ベンチマーク性能
主要なコード生成ベンチマークでの Qwen2.5-Coder-32B-Instruct の実績は以下の通りです。
HumanEval: 92.7%(GPT-4o: 90.2%) MBPP+: 80.0%(GPT-4o: 76.8%) LiveCodeBench: 47.4%(Claude-3.5-Sonnet: 47.2%) MultiPL-E: 78.6%(GPT-4o: 76.1%)
特に HumanEval・MBPP+ では当時最強クラスのクローズドモデルを上回る性能を示しました。
対応プログラミング言語
92 以上のプログラミング言語に対応しており、主要言語での性能が特に高く評価されています。Python / JavaScript / TypeScript / Java / C / C++ / Go / Rust / SQL / Shell / HTML / CSS / PHP / Ruby / Kotlin / Scala など。
利用方法
Qwen2.5-Coder は Hugging Face・ModelScope で公開されており、transformers ライブラリや GGUF 形式(llama.cpp 互換)で利用できます。Ollama でも ollama pull qwen2.5-coder:32b で取得可能です。
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "Qwen/Qwen2.5-Coder-32B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
ライセンスと商用利用
Qwen2.5-Coder シリーズは Apache 2.0 ライセンスで公開されており、商用利用・改変・再配布が自由に行えます。月間アクティブユーザー 1 億人以上のサービスでの使用には別途 Alibaba Cloud への申請が必要です。
関連モデルとの比較
- Qwen2.5-Coder (Alibaba Cloud) 32B / Apache 2.0
- Codestral (Mistral AI) 22B / MNPL
- DeepSeek-Coder-V2 (DeepSeek) 236B MoE / 独自
- StarCoder2 (BigCode) 15B / BigCode OpenRAIL
- Granite Code 34B (IBM) 34B / Apache 2.0
Qwen2.5-Coder は純粋なパラメータ効率の高さと完全なオープンソース提供で、2024年末時点での自己ホスト型コード生成モデルの事実上の第一選択肢となっています。