LLMを用いてプログラムのバグを自動的に検出・原因特定・修正提案する技術。エラーメッセージやスタックトレースを解析し、根本原因の特定と修正コードの生成を行う。
LLMコードデバッグ（LLM Code Debugging）は、大規模言語モデルを活用してプログラム中のバグを自動的に検出し、原因を特定し、修正を提案する技術である。従来のデバッガ（GDB、LLDB、Chrome DevTools 等）がブレークポイントやステップ実行による手動調査を基本としていたのに対し、LLMベースのデバッグはエラーメッセージやコードの意味的な分析から根本原因を推定し、修正コードまで一貫して生成できる。
SWE-bench ベンチマークで測定される実プロジェクトのバグ修正タスクでは、最新のLLMエージェントが 50% 以上の解決率を達成しており、実用的なレベルに到達しつつある。
LLMによるデバッグは以下の段階で行われる。
エラーメッセージ、スタックトレース、テスト結果、ユーザーからのバグレポートを入力として、問題の症状を理解する。
バグの原因となっているコード箇所を特定する。従来のスペクトラムベース故障定位（SBFL）に対し、LLMはコードの意味的な理解に基づいてバグ箇所を推定する。
| 故障定位手法 | アプローチ | 精度 | 速度 |
|---|---|---|---|
| SBFL (Spectrum-Based) | テスト結果の統計分析 | 中 | 高速 |
| MBFL (Mutation-Based) | コード変異による影響分析 | 高 | 低速 |
| LLM-based | コードの意味理解 | 高 | 中速 |
| ハイブリッド | SBFL + LLM 組合せ | 最高 | 中速 |
特定されたバグ箇所に対して修正パッチを生成する。単純な1行修正から複数ファイルにまたがる修正まで、バグの種類に応じた修正を行う。
生成されたパッチがバグを修正し、かつ既存のテストを壊さないことを検証する。テストスイートの自動実行とその結果のフィードバックにより、修正の品質を確認する。
SWE-bench を中心とした評価で高い性能を示しているデバッグエージェントが複数存在する。
| エージェント | 開発元 | SWE-bench Verified 解決率 | 手法 |
|---|---|---|---|
| SWE-agent | Princeton NLP | 23% (OSS版) | ツール統合型エージェント |
| Devin | Cognition | 53% | 自律型 AI ソフトウェアエンジニア |
| OpenHands | AllHands AI | 55% | オープンソースエージェント |
| Agentless | UIUC | 32% | エージェント不使用の軽量手法 |
| AutoCodeRover | NUS | 30% | プログラム解析統合 |
| Amazon Q Developer Agent | Amazon | 38% | AWS 統合エージェント |
TypeError、NullPointerException、IndexOutOfBoundsException などのランタイムエラーに対して、スタックトレースを解析し修正を提案する。最も成功率が高いデバッグカテゴリである。
プログラムがクラッシュせずに誤った結果を返すロジックバグの検出は最も難しい課題である。テストケースとの乖離分析や仕様との整合性チェックを通じて検出を試みる。
レースコンディション、デッドロック、ライブロックなどの並行処理バグは再現性が低く、従来のデバッグ手法では検出が困難である。LLMはコードパターンの分析から潜在的な並行処理バグを指摘できる。
メモリリーク、ダングリングポインタ、バッファオーバーフローなどのメモリ関連バグに対して、コードの意味分析に基づく検出と修正を行う。C/C++ プロジェクトで特に有用である。
IDE やチャットインターフェースを通じた対話的なデバッグも LLM の重要な応用である。
| 機能 | 説明 | 代表的なツール |
|---|---|---|
| エラー説明 | エラーメッセージの分かりやすい解説 | GitHub Copilot Chat |
| スタックトレース解析 | スタックトレースからの原因推定 | Cursor Chat |
| 修正提案 | コードの修正案の提示 | Claude Code |
| デバッグ手順のガイド | ステップバイステップの調査手順 | ChatGPT |
LLMに効果的にデバッグを依頼するためのプロンプト設計が重要である。
LLM登場以前から研究されてきた自動バグ修正（APR）の分野が、LLMの導入により大きく進展している。従来のテンプレートベースやサーチベースの手法に比べ、LLMは自然言語の仕様やコメントも活用できるため、より広範なバグに対応可能である。
SWE-bench Verified の最新結果では、トップクラスのエージェントが約 50-55% のバグを自動修正できている。これは実際の GitHub Issue から作成されたベンチマークであり、実運用環境に近い難易度の問題が含まれている。ただし、残りの問題には複雑なドメイン知識や大規模なリファクタリングが必要なものが含まれる。
テストスイートが十分にカバーしている場合は安全に適用できる可能性が高いが、テストカバレッジが低い場合は慎重な検証が必要である。生成されたパッチが既存のテストをすべてパスしても、カバーされていない部分に副作用が生じる可能性がある。人間によるレビューを経てから適用することが推奨される。
テストスイートの充実が最も効果的である。テストが豊富であれば、LLMはバグの症状を正確に理解し、修正パッチの正当性を検証できる。また、コードにドキュメントコメントや型アノテーションを追加することで、LLMのコード理解精度が向上する。