SWE-Bench（エスダブリューイーベンチ）

SWE-Bench とは

SWE-Benchは、2024年にPrinceton大学等が発表したLLMのソフトウェアエンジニアリング能力評価ベンチマークです。GitHubの実際のissueとPull Requestのペアから問題を構築し、モデルが実際のOSSプロジェクトのバグを修正できるかを評価します。

データセットの構成

問題ソース

• 対象リポジトリ: Django, Flask, NumPy, SciPy, Scikit-learn, Matplotlib, Sphinx, Astropy等のPython OSSプロジェクト
• 問題数: 2,294件（SWE-Bench Full）、300件（SWE-Bench Lite）
• SWE-Bench Verified: 人手で検証済みの500件

問題形式

各問題には以下が含まれます。

• issue本文: バグの説明・エラーメッセージ・再現手順
• リポジトリのスナップショット: バグが存在するバージョン
• テストスイート: バグ修正を検証するPR付属のテスト

モデルはissueを読み、リポジトリのコードを変更するパッチ（unified diff形式）を生成します。

評価指標

• %Resolved: 生成パッチがすべてのテストをパスした割合
• テストは実際のCI環境（Dockerコンテナ）で実行される

主要モデル・エージェントの比較 (2025年時点)

• Claude 3.5 Sonnet (SWE-Agent): 約49% (SWE-Bench Verified)
• OpenAI o3 (Agentless): 約72% (SWE-Bench Verified)
• GPT-4o (SWE-Agent): 約23%
• Gemini 1.5 Pro: 約18%
• DeepSeek-Coder-V2: 約19%

2024年初頭は最高でも約5%だったが、2025年にエージェントフレームワークの進化で大幅に向上しました。

SWE-Benchを支えるエージェントフレームワーク

SWE-BenchはLLM単体ではなく、エージェントフレームワークと組み合わせて評価されます。

• SWE-Agent: リポジトリ探索・ファイル編集・テスト実行を自律的に行うエージェント
• Agentless: シンプルな3ステップアプローチ（ファイル特定→バグ箇所特定→パッチ生成）
• Moatless Tools: RAG+編集ツールを組み合わせた軽量エージェント

HumanEvalとの比較

SWE-BenchはHumanEvalより実世界のソフトウェア開発に近い評価が可能です。

• HumanEval: 独立した関数補完（164問）
• SWE-Bench: 既存コードベースのバグ修正（2294問）
• マルチファイル・依存関係・コンテキスト理解が必要
• データ汚染リスクが低い（実際のissue/PRから収集）

まとめ

SWE-Benchは、LLMが実際のソフトウェアエンジニアリングタスクをこなせるかを評価する最も現実的なベンチマークとして位置づけられています。2024〜2025年のAIコーディングエージェントの急速な進化を可視化した指標として、業界での影響力が大きい評価基盤です。