Devstral-Small（デブストラル・スモール）
Mistral AIとAll Hands AIが2025年5月に共同公開したソフトウェアエンジニアリングエージェント向けLLM。24Bパラメータで、SWE-Bench VerifiedスコアSWE 46.8%を記録し、GPT-4oやDeepSeek-Coder-V2を上回るエージェントコーディング性能を示した。
Devstral-Smallとは
Devstral-SmallはMistral AIとAll Hands AI（OpenHandsの開発元）が2025年5月に共同で公開したコーディングエージェント専用LLMです。24Bパラメータとコンパクトなサイズながら、SWE-Bench VerifiedでSWE 46.8%という業界最高水準のスコアを記録し、大きな注目を集めました。
従来のCode LLMが「コードの生成・補完」を主な用途としていたのに対し、Devstral-Smallは「ソフトウェアエンジニアリングエージェント」として、実際のGitHubイシューをツールを使いながら自律的に解決することを主目的に設計されています。
なぜSWE-Benchが重要か
SWE-Bench（Software Engineering Benchmark）はPrincetonとChicago大学が開発したベンチマークで、実際のGitHubリポジトリのバグ修正Issueを使用します。
SWE-Bench Verifiedの特徴
- Djangoや科学系ライブラリなど実在のリポジトリのIssue500件を使用
- 自動評価で汚染がなく、より実用性を反映
- コードの読み込み・編集・テスト実行などのツール使用が必要
- 単純な生成タスクより実際のソフトウェア開発能力を測定
SWE-Bench Verified 主要モデル比較（2025年5月時点）
| モデル | スコア | パラメータ | ライセンス |
|---|---|---|---|
| Devstral-Small | 46.8% | 24B | Apache 2.0 |
| Claude 3.5 Sonnet | 49.0% | - | 商用 |
| GPT-4o | 38.8% | - | 商用 |
| DeepSeek-Coder-V2-Instruct | 36.9% | 236B | Apache 2.0 |
| CodeLlama-70B | 3.8% | 70B | Llama 2 |
24BモデルがGPT-4o（38.8%）やDeepSeek-Coder-V2（36.9%）を上回り、オープンソースモデルで最高スコアを達成しました。（Claude 3.5 Sonnetの49.0%は上回れませんでしたが、パラメータ数の差を考えると驚異的な効率性です）
アーキテクチャとトレーニング
Devstral-SmallはMistral-Small 3.1（24B）をベースモデルとして使用しています。
特徴的な学習アプローチ
- エージェント軌跡データ: 実際のソフトウェアエンジニアリングタスクを解くエージェントの行動ログ
- ツール使用最適化: ファイル読み込み・コード編集・コマンド実行ツールの効率的な使用
- 128Kコンテキスト: 大規模リポジトリの複数ファイルを同時参照
- マルチターン推論: 試行錯誤しながら段階的に問題を解くパターンの学習
OpenHandsとの連携
Devstral-SmallはOpenHands（旧OpenDevin）フレームワークとの統合を前提に設計されています。
OpenHands + Devstral-Smallでの動作フロー
1. GitHubのIssueまたはタスク記述を入力
2. DevstralがリポジトリをCloneまたは参照
3. 関連ファイルの読み込みと問題分析
4. コード変更の計画立案
5. ファイル編集ツールによる実装
6. テスト実行と結果確認
7. エラーがあれば修正を繰り返す
8. PRを自動生成して提出
この自律的なループにより、人間の介入なしにGitHubイシューを解決するPRを自動生成できます。
ローカル環境での実行
Ollama経由での実行
ollama pull devstral:24b
ollama run devstral:24b
必要なVRAM目安
| 量子化 | VRAM | 推奨GPU |
|---|---|---|
| fp16 | 48GB | A100 |
| Q8_0 | 26GB | RTX 3090 x2 |
| Q4_K_M | 15GB | RTX 3090/4090 |
| Q3_K_L | 12GB | RTX 3080 12GB |
Q4_K_M量子化では15GB VRAMで動作するため、RTX 3090/4090単機での運用が可能です。SWE-Benchで測定されたエージェントパフォーマンスはQ4量子化でもfp16の85〜90%程度維持されると報告されています。
他のエージェントフレームワークとの互換性
OpenHands以外でも主要なコーディングエージェントフレームワークに対応しています。
| フレームワーク | 対応状況 | 備考 |
|---|---|---|
| OpenHands | ネイティブ対応 | Mistralと共同設計 |
| SWE-Agent | 対応済み | 設定ファイル要修正 |
| Aider | 対応済み | --model ollama/devstral |
| Continue.dev | 対応済み | Ollamaバックエンド |
| AutoCodeRover | テスト中 | 非公式 |
FAQ
Q: Devstral-SmallとDevstral（フルサイズ）の違いは？ A: 2025年5月時点ではDevstral-Small（24B）のみ公開されています。"Small"という名称はより大型のモデルが予定されていることを示しており、将来的な上位モデルのリリースが示唆されています。
Q: コード補完（IDEプラグイン）にも使えますか？ A: 技術的には使用可能ですが、Devstral-Smallはエージェントタスク向けに最適化されており、単純なコード補完には過剰スペックです。IDEプラグイン用途にはStarCoder2-7BやQwen2.5-Coder-7Bの方がレスポンス速度と品質のバランスが良いです。
Q: 日本語プロジェクトへの適用は可能ですか？ A: Mistral-Small 3.1ベースのため日本語理解能力を持ちますが、日本語コメントの多いコードベースでのSWE-Benchスコアは未検証です。日本語コメントへの対応は実用上問題ないレベルとの報告がありますが、英語コメントのプロジェクトに比べると精度が若干落ちる可能性があります。
まとめ
Devstral-Smallは「コードを書く」から「ソフトウェアエンジニアリングを行う」へのCode LLM進化の象徴的なモデルです。24BパラメータでGPT-4oを超えるSWE-Benchスコアを達成し、Apache 2.0ライセンスでオープンソース展開できることが最大の強みです。CI/CDパイプラインへの組み込みや自動バグ修正エージェントとして、ソフトウェア開発の自動化を本格的に検討している組織にとって最も注目すべきモデルの一つです。