エージェンティックプランニングベンチマーク（エージェンティックプランニングベンチマーク）
LLMエージェントのプランニング能力を定量的に評価するためのベンチマーク群。タスク分解の正確性、ツール選択の適切さ、計画の実行成功率、エラー回復力などを多角的に測定する。SWE-bench、WebArena、GAIA等が代表的。
エージェンティックプランニングベンチマークとは
エージェンティックプランニングベンチマークとは、LLMエージェントが複雑なタスクを計画・分解・実行する能力を定量的に評価するための標準化されたテスト群である。単純なQAベンチマーク（MMLU等）とは異なり、マルチステップの推論、外部ツールの利用、環境とのインタラクション、エラーからの回復といったエージェント固有の能力を測定する。
2024年以降、LLMエージェントの急速な発展に伴い、ベンチマークも進化を続けている。初期のHotpotQAやALFWorldから、実世界のソフトウェア開発を評価するSWE-bench、Webブラウジングを評価するWebArena、汎用的な推論を評価するGAIAまで、評価の範囲と難易度は拡大している。
主要ベンチマークの一覧
現在、エージェンティックプランニングの評価に使用される主要なベンチマークは以下の通りである。
| ベンチマーク | 評価対象 | タスク数 | 環境 | 評価指標 | 難易度 |
|---|---|---|---|---|---|
| SWE-bench | ソフトウェア開発 | 2,294 | GitHubリポジトリ | テスト通過率 | 高 |
| SWE-bench Verified | ソフトウェア開発（検証済み） | 500 | GitHubリポジトリ | テスト通過率 | 高 |
| WebArena | Webブラウジング | 812 | Webサイトエミュレータ | タスク成功率 | 中-高 |
| GAIA | 汎用アシスタント | 466 | マルチモーダル | 正解率 | 中-高 |
| HotpotQA | マルチホップ質問応答 | 113k | Wikipedia | F1スコア | 中 |
| ALFWorld | テキストベースゲーム | 3,553 | テキスト環境 | タスク成功率 | 中 |
| ToolBench | ツール使用 | 16,464 | REST API群 | 通過率/勝率 | 中-高 |
| AgentBench | 総合エージェント能力 | 8タスク | 複数環境 | 総合スコア | 高 |
| τ-bench | カスタマーサポート | 115 | 小売/航空 | タスク成功率 | 中 |
| MLE-bench | ML開発 | 75 | Kaggleコンペ | メダル獲得率 | 高 |
ベンチマーク別の詳細解説
SWE-bench / SWE-bench Verified
SWE-bench（Software Engineering Benchmark）はPrinceton大学が2023年に公開したベンチマークで、実際のGitHubリポジトリのIssueを解決する能力を評価する。エージェントはIssueの記述を読み、コードベースを理解し、修正パッチを生成する必要がある。
| モデル/エージェント | SWE-bench Verified 解決率 | 手法 |
|---|---|---|
| Claude 3.5 Sonnet + Agentless | 33.6% | パッチ直接生成 |
| GPT-4o + SWE-agent | 23.0% | ReActベース |
| OpenHands (CodeAct) | 53.0% | コード実行ループ |
| Devin | 13.8%（初期）→ 改善中 | 自律コーディング |
| Amazon Q Developer | 36.2% | マルチステップ推論 |
SWE-bench Verifiedは、元のSWE-benchからノイズの多いテストケースを除外し、人間が検証した500問のサブセットである。より信頼性の高い評価が可能であり、現在のデファクトスタンダードとなっている。
WebArena
WebArenaはCMUが2023年に公開したWebブラウジングベンチマークで、ショッピングサイト、フォーラム、GitLabなどの実際のWebサイトを模したエミュレータ上でタスクを遂行する能力を評価する。
評価されるスキル:
- ページナビゲーション
- フォーム入力
- 情報検索と集約
- マルチステップのワークフロー実行
GAIA
GAIA（General AI Assistants）はMeta AIが2023年に公開したベンチマークで、実世界の汎用アシスタント能力を評価する。テキスト、画像、ファイルなどマルチモーダルな入力に対応し、Web検索やファイル操作を組み合わせた複合タスクを含む。
| レベル | 難易度 | 人間正解率 | GPT-4正解率（2024時点） |
|---|---|---|---|
| Level 1 | 基本 | 92% | 54% |
| Level 2 | 中級 | 86% | 28% |
| Level 3 | 高度 | 79% | 8% |
プランニング能力の評価軸
エージェンティックプランニングの能力は、以下の複数の軸で評価される。
| 評価軸 | 測定内容 | 関連ベンチマーク |
|---|---|---|
| タスク分解精度 | 目標を適切なサブタスクに分解できるか | TravelPlanner, GAIA |
| ツール選択精度 | 適切なツールを選択できるか | ToolBench, API-Bank |
| 計画実行率 | 立案した計画を最後まで実行できるか | SWE-bench, WebArena |
| エラー回復力 | 失敗時に計画を修正して再試行できるか | AgentBench |
| 効率性 | 最小限のステップ数で目標を達成できるか | ALFWorld |
| 長期一貫性 | 長いタスクで計画の一貫性を維持できるか | GAIA Level 3 |
ベンチマーク設計のベストプラクティス
新しいエージェンティックプランニングベンチマークを設計する際の考慮事項は以下の通りである。
| 設計原則 | 詳細 | 悪い例 |
|---|---|---|
| 再現性 | 同一条件で同一結果が得られること | 外部API依存で結果が変動 |
| 現実性 | 実世界のタスクに近いこと | 人工的すぎるパズル問題 |
| 多角性 | 複数の能力を評価すること | 単一スキルのみ測定 |
| スケーラビリティ | タスク数を拡張できること | 手作業でのみ作成可能 |
| 汚染耐性 | 学習データに含まれにくいこと | 公開済みの教科書問題 |
| 自動評価 | 人手なしで評価できること | 主観的な品質判定 |
データ汚染（Data Contamination）は深刻な問題であり、ベンチマーク問題がLLMの学習データに含まれると評価の意味がなくなる。SWE-bench VerifiedやGAIAは公開後に追加されたIssue/問題を使うことで汚染を軽減している。
現状の課題と今後の展望
エージェンティックプランニングベンチマークの現状の課題は以下の通りである。
- 飽和問題: 一部のベンチマーク（HotpotQA等）は最新モデルでほぼ飽和しており、識別力が低下している
- コスト問題: SWE-benchの全問評価には数百ドルのAPI費用がかかり、頻繁な評価が困難
- 環境再現: WebArenaなどの環境構築が複雑で、評価の敷居が高い
- マルチエージェント評価: 複数エージェントの協調能力を評価するベンチマークが不足している
今後は、（1）マルチエージェント協調の評価、（2）長期タスク（数時間〜数日）の評価、（3）安全性とガードレールの評価、（4）実世界環境での評価（Sandboxではない）が重要な方向性となる。
よくある質問（FAQ）
Q1: エージェントの性能比較でどのベンチマークを使うべきか？
A1: 目的に応じて選択する。汎用的な比較にはGAIA、ソフトウェア開発能力にはSWE-bench Verified、Webタスクにはwebareana、ツール使用能力にはToolBenchが適する。単一のベンチマークで全能力を評価することは不可能なため、最低2-3種類のベンチマークを組み合わせることを推奨する。
Q2: ベンチマークスコアと実用性能の相関はどの程度か？
A2: 中程度の相関がある。SWE-bench Verifiedのスコアはコーディングエージェントの実用性能とある程度相関するが、ベンチマーク問題は比較的明確に定義されたタスクであり、実世界のあいまいな要件定義や人間とのコミュニケーションは評価されない。τ-benchのようなカスタマーサポート系ベンチマークは、人間とのインタラクション能力をある程度反映する。
Q3: 自社のエージェントを評価するために独自ベンチマークを作るべきか？
A3: 公開ベンチマークでの比較と独自ベンチマークの両方が望ましい。公開ベンチマークは他モデルとの客観的な比較に必須であり、独自ベンチマークは自社ユースケースに特化した評価に有用である。独自ベンチマークを作る際は、（1）最低50問以上、（2）自動評価可能な形式、（3）難易度のグラデーション、（4）データ汚染の防止を意識すべきである。
Q4: ベンチマークのリーダーボードで上位のモデルを選べば安全か？
A4: リーダーボードのスコアだけで判断するのは危険である。理由は、（1）ベンチマーク過適合（ベンチマークに最適化して実用性能が低い）、（2）計算コストの未考慮（高スコアだがAPI費用が10倍）、（3）レイテンシの未考慮（高精度だが応答に数分かかる）、（4）評価条件の差異（プロンプトやツール設定が異なる）がある。総合的にスコア、コスト、レイテンシ、安定性を考慮して選択すべきである。