AI・機械学習
上級
SWE-Bench（エスダブリューイーベンチ）
Princeton/シカゴ大学が開発したソフトウェアエンジニアリング特化LLMベンチマーク。2,294件の実GitHubイシューをモデルが修正し自動テストで評価する。
0 回閲覧
0 いいね
2026/6/4 更新
関連タグ
LLMベンチマーク
コーディング評価
GitHub
ソフトウェアエンジニアリング
SWE-Benchとは
SWE-Bench（Software Engineering Benchmark）は、2024年にPrinceton UniversityとUniversity of Chicagoの研究チームが発表したLLMのソフトウェアエンジニアリング能力を評価するベンチマーク。合成問題ではなく、実際のOSSプロジェクト（Django/Flask/Requests/Pytest等12リポジトリ）から収集した2,294件の本物のGitHubイシューを使う点が特徴。
評価方式
- イシュー提示: 実際のGitHub Issueのタイトル・本文・リポジトリのコードベースをコンテキストとして提供
- パッチ生成: LLMがバグ修正・機能追加のdiffを生成
- テスト実行: 既存テストスイートを自動実行し、パス率（% Resolved）を算出
人間のエンジニアによる「正解パッチ」は評価に使わず、テストによる振る舞い検証のみを使うため、同じ問題を異なる実装で解いても公平に評価できる。
SWE-Bench Verifiedとは
元のSWE-Bench 2,294問の中から人間エンジニアがAmbiguousな問題を除外してキュレーションした500問のサブセット。タスク品質が保証されておりスコアの信頼性が高く、最新モデルの比較には主にVerifiedが使われる。
| バリアント | 問題数 | 特徴 |
|---|---|---|
| SWE-Bench Full | 2,294問 | 全イシュー |
| SWE-Bench Verified | 500問 | 人手キュレーション |
| SWE-Bench Lite | 300問 | 評価コスト削減版 |
代表的スコア推移
| モデル/エージェント | スコア（Verified） | 時期 |
|---|---|---|
| SWE-agent（GPT-4） | 12.5% | 2024年初 |
| Claude 3.5 Sonnet | 49.0% | 2024年末 |
| OpenHands | 53.0% | 2025年初 |
1年間でスコアが4倍以上に伸びており、AIコーディングエージェントの急速な進化を示している。
エージェント型評価との親和性
SWE-Benchはファイル編集・ターミナル実行・テスト確認のループが必要なため、単純なコード補完より「自律的に問題解決するエージェント」向けに設計されている。SWE-agent・AutoCodeRover・Devinなどコーディングエージェントの性能比較に広く使われる。
実施上の注意
- 各タスクはDockerで隔離環境を構築してから実行するため、評価インフラのセットアップコストが高い
- クローズドモデルは公式評価チームを通じてスコア申請が必要で、個人での再現が難しい場合がある
- リポジトリのコードベースサイズが大きいため、コンテキストウィンドウ200k+のモデルが有利になる傾向がある