AI Agent Bench SWE-Bench/Aider/τ-bench 2026（エージェントベンチ）
AI Agent評価Benchmark。SWE-Bench Verified (500 GitHub Issues・Claude 3.7 Sonnet 49.3%・o3 71.7%)・SWE-Bench Lite・Aider Polyglot Bench (5 言語・Claude 3.5 Sonnet 49% / o1 72%)・τ-bench (Tool-Use・Tau-Bench)・GAIA・WebArena (Web Agent)・MLE-Bench (Kaggle 75 ML Tasks)・OSWorld (Computer Use)・Cybench (CTF Cyber)・¥0 OSS、2026年Computer Use Agent Bench拡大。
概要
AI Agent Bench 2026 は、2025年に導入された「SWE‑Bench Verified」をベースに、Aider Polyglot Bench、τ‑bench、WebArena、OSWorld など複数の子ベンチマークを統合した総合評価フレームワークです。GitHub Issues 500件を対象に、Claude 3.7 Sonnet（49.3%）とo3（71.7%）で検証済みの結果を公開し、2026年には「Computer Use Agent Bench」の拡張により、さらに多様なタスクが追加されました。これにより、開発者はコード生成、Web操作、機械学習タスク、CTF挑戦など、幅広い領域でエージェントの性能を定量的に比較できます。
主な特徴・仕組み
- SWE‑Bench Verified：500件のGitHub Issuesを対象に、エージェントがコードを提案・修正する精度を測定。Claude 3.7 Sonnet は 49.3% の正答率、o3 は 71.7% を達成。
- Aider Polyglot Bench：5 言語（Python, JavaScript, Go, Rust, C#）でのコード生成を評価。Claude 3.5 Sonnet は 49%、o1 は 72% を記録。
- τ‑bench (Tau‑Bench)：ツール使用（Tool‑Use）を前提としたタスクを提供し、エージェントが外部ツールを駆使できるかを検証。
- WebArena：Web Agent の操作精度を測定。ページ遷移、フォーム入力、スクレイピングの自動化を評価。
- OSWorld：コンピュータ操作タスク（ファイル管理、設定変更）を含む。
- MLE‑Bench：Kaggle 75 タスクをベースに、機械学習モデル構築・チューニングの自動化を評価。
- Cybench：CTF（Capture The Flag）サイバーセキュリティタスクで、脆弱性検出と対策を自動化。
- ¥0 OSS：オープンソースで無料に提供されるベンチマークセット。
- 2026年拡張：新たに「Computer Use Agent Bench」が追加され、実際の業務フローでのエージェント活用を測定。
スペック比較表
| ベンチマーク | 対象タスク | 最大スコア | 主な評価指標 |
|---|---|---|---|
| SWE‑Bench Verified | コード修正 | 71.7% (o3) | 正答率 |
| Aider Polyglot Bench | 多言語コード生成 | 72% (o1) | 正答率 |
| τ‑bench | ツール連携タスク | 65% | タスク完了率 |
| WebArena | Web操作 | 60% | タスク完了率 |
| OSWorld | OS操作 | 68% | タスク完了率 |
具体例・対応製品
- RTX 5090 – 24GB GDDR7、TDP 450W、最大クロック 2.5GHz。AI 推論向けの高速メモリと高クロックで、ベンチマークの推論時間を 30% 低減。
- Ryzen 9 9950X3D – 16 コア、3.7GHz ベース、3.9GHz ブースト、TDP 125W。並列タスクで 1.8 倍のスループットを実現。
- DDR5‑6000 – 32GB モジュール、2400MHz で 6000MHz を実現。バッファレイテンシ 10ns で AI データ転送を高速化。
- Samsung 980 PRO 2TB NVMe – 5000MB/s で読み書き。データセットのロード時間を 40% 短縮。
- Corsair 650W 80+ Platinum PSU – 80% 効率で 650W。電力安定供給により、ベンチマーク中の電圧ドロップを防止。
自作PCでの選び方・注意点
- GPU：RTX 5090 などの高性能 GPU を選択し、CUDA コア数とメモリ帯域幅を重視。
- CPU：Ryzen 9 9950X3D のように高クロック・多コアを備えたプロセッサを採用。
- メモリ：DDR5‑6000 32GB 以上で、AI 推論時のバッファ需要に対応。
- ストレージ：NVMe 980 PRO 2TB で高速データロード。
- 電源：650W 80+ Platinum で電力安定。
- 冷却：大型ファンと液体冷却を併用し、長時間稼働時の熱暴走を防止。
- OS：Ubuntu 24.04 LTS を推奨し、CUDA、cuDNN、Python 環境を整備。
関連用語との違い
- SWE‑Bench：コード生成のみを対象にしたベンチ。SWE‑Bench Verified は 2025 年に導入された検証済み版。
- Aider Polyglot：多言語コード生成に特化。SWE‑Bench では単一言語が主。
- τ‑bench：ツール使用タスクに焦点。WebArena は Web 操作、OSWorld は OS 操作を別途測定。
- MLE‑Bench：機械学習タスク専用。SWE‑Bench とはタスク種別が異なる。
よくある質問(FAQ)
Q1. 2025 年に導入された「SWE‑Bench Verified」の主な改善点は何ですか？
A1. GitHub Issues 500 件を対象に、Claude 3.7 Sonnet と o3 の正答率を測定し、実際の開発環境でのコード品質を定量化した点が主な改善です。
Q2. 2026 年に拡張された「Computer Use Agent Bench」は具体的に何を測定しますか？
A2. 実際の業務フロー（データ入力、レポート生成、タスク自動化）をシミュレートし、エージェントが人間と同等の効率でタスクを完了できるかを評価します。
Q3. 自作 PC で AI Agent Bench を走らせる際の最小構成は？
A3. GPU：RTX 4080（12GB GDDR6X）以上、CPU：Ryzen 9 7950X、RAM：32GB DDR5‑4800、ストレージ：NVMe 1TB、電源：750W 80+ Gold が最低ラインです。
まとめ
AI Agent Bench 2026 は、2025 年の SWe‑Bench Verified を起点に、Aider Polyglot、τ‑bench、WebArena、OSWorld、MLE‑Bench、Cybench など多岐にわたる子ベンチマークを統合し、2026 年に「Computer Use Agent Bench」を追加した総合評価フレームワークです。実際の開発・運用シナリオに即したタスクを網羅し、エージェントの総合性能を数値化できる点が大きな特徴です。自作 PC でベンチマークを走らせる際は、GPU、CPU、メモリ、ストレージ、電源といったハードウェア要件を満たし、冷却・電源安定性を確保することが重要です。これにより、最新の AI エージェント技術を実務に即した形で検証・導入できる環境が整います。