BigCodeBench（ビッグコードベンチ）

BigCodeBench とは

BigCodeBenchは、2024年にBigCode Projectらが公開した実践的なLLMコード生成評価ベンチマークです。HumanEvalが単純な関数補完を評価するのに対し、BigCodeBenchは実際の開発で使うライブラリ呼び出しや複合タスクを評価します。

特徴

広範なライブラリカバレッジ

BigCodeBenchは139のPythonライブラリを活用します。

• データ処理: NumPy, Pandas, SciPy, scikit-learn
• Web/API: Requests, httpx, BeautifulSoup, FastAPI
• ファイル処理: Pillow, PyPDF2, python-docx, openpyxl
• 時間/日付: datetime, pendulum, dateutil
• ユーティリティ: itertools, functools, collections, re

問題数と構成

• BigCodeBench-Full: 1,140問（平均2.4ライブラリ使用）
• BigCodeBench-Hard: 148問（より難しい問題のサブセット）
• 評価はLLM-as-Judgeの自動評価と単体テストによる機能検証を組み合わせ

評価形式: Instruct vs Complete

• Complete: 関数シグネチャ+docstringから関数本体を生成（HumanEvalと同様）
• Instruct: 自然言語の指示からゼロからコードを書く

Instructモードはより実際のユーザーのプロンプトに近い評価です。

主要モデルの比較 (2025年時点)

BigCodeBench-Full (Instruct) pass@1の代表的数値:

• GPT-4o: 約61%
• Claude 3.5 Sonnet: 約64%
• Gemini 1.5 Pro: 約56%
• DeepSeek-Coder-V2-Instruct: 約60%
• Llama 3.1 70B Instruct: 約53%
• Codestral-22B: 約52%

HumanEvalで高スコアなモデルがBigCodeBenchでも同様に高いとは限らず、ライブラリ活用能力の差が顕著に現れます。

HumanEvalとの比較

• HumanEval: 164問・単純関数補完・ライブラリ使用少・汚染リスクあり
• BigCodeBench: 1140問・複合タスク・139ライブラリ・より実践的

実際の業務コードに近い問題でモデルを評価したい場合はBigCodeBenchが有効です。

まとめ

BigCodeBenchは、実際のPython開発に必要なライブラリ活用能力を評価する実践的なベンチマークとして、2024〜2025年に注目を集めています。HumanEvalでは測れなかった「APIを使いこなす能力」を定量化し、コーディングアシスタントの実力をより正確に反映する評価基盤です。