AI・機械学習
上級
SWE-Bench（エスダブリューイーベンチ）
実際のGitHubイシューを解決するソフトウェアエンジニアリング能力を測定するLLMベンチマーク。2,294件のPython OSS修正タスクで構成される。
0 回閲覧
0 いいね
2026/6/7 更新
関連タグ
benchmark
software-engineering
coding
github
bug-fixing
SWE-Benchとは
SWE-Bench（Software Engineering Benchmark）は、Princeton NLPがNeurIPS 2024に発表した実世界コーディング評価ベンチマーク。従来のコーディングベンチマーク（HumanEval等）が「コードを書く」能力を測るのに対し、SWE-Benchは「実際のソフトウェアプロジェクトの問題を解決する」能力を測定することに特化している。
データセットの構成
2,294件のタスクは実際のGitHubリポジトリから収集されており：
- 対象リポジトリ: Django・Flask・Pillow・Pytest・Sympy・Scikit-learnなど著名なPython OSSプロジェクト
- タスク形式: 実際に報告されたバグレポートやFeature Requestをイシュー文として与え、対応するコード変更（パッチ）を生成させる
- 評価方法: 生成されたパッチを適用し、既存のテストスイートが通過するかどうかを自動判定
難しい理由
SWE-Benchが困難な理由は複数ある：
- 長いコンテキスト: 大規模リポジトリのコードを理解する必要がある
- バグ特定: どのファイルのどの箇所に問題があるかを推論する
- 副作用への配慮: 修正が他の機能を壊さないようにする
- テスト通過: 既存テストだけでなく、新たに追加されたテストもパスする必要がある
SWE-Bench Verified
2024年に公開されたSWE-Bench Verifiedは、500件の高品質サブセット。人間のソフトウェアエンジニアがタスクの品質・明確さを検証しており、より信頼性の高い評価が可能だ。
主要モデルの解決率
Claude 3.5 Sonnet（エージェントシステム込み）: 約49%、GPT-4o（エージェントシステム込み）: 約33%、Gemini 1.5 Pro: 約30%前後。※単独モデルではなく、エージェントフレームワーク（SWE-agent等）と組み合わせた際のスコア。
AIエージェント評価の新標準
SWE-Benchはコーディングエージェントの実力を示す指標として業界で広く参照される。スコア向上のためにReActフレームワーク・Scaffolding・LLMルーターなどの技術が組み合わされており、AIエージェント研究の主要なベンチマークとなっている。