LiveCodeBench（ライブコードベンチ）

LiveCodeBench とは

LiveCodeBenchは、2024年にMIT・CMU等の研究者が公開した継続更新型LLMコード生成評価ベンチマークです。HumanEvalなど既存ベンチマークのデータ汚染問題（学習データに問題が含まれスコアが水増しされる問題）を解決するために設計されています。

継続更新の仕組み

問題収集源

• Codeforces: 世界最大の競技プログラミングプラットフォーム
• LeetCode: テクニカル面接対策問題
• AtCoder: 日本発の競技プログラミングサイト

時系列分割

LiveCodeBenchはモデルのカットオフ日時に基づいて問題を分割します。

• モデルの学習データカットオフ以降の問題のみを使用
• 例: カットオフが2024年1月なら、2024年1月以降の新問題のみでテスト
• これによりデータ汚染によるスコア水増しを構造的に排除

4つの評価タスク

LiveCodeBenchはコード生成だけでなく、4種類のタスクで多面的な評価を行います。

1. Code Generation: 問題文からコードを生成
2. Self-Repair: 誤ったコードを修正（フィードバック込み）
3. Test Output Prediction: コードの実行結果を予測
4. Code Execution: コードが特定の動作をするか判断

主要モデルの比較 (2025年時点)

LiveCodeBench Code Generation (pass@1) 代表的数値:

• o3-mini: 約65〜70%（Easy問題）
• Claude 3.7 Sonnet: 約58%（Easy問題）
• GPT-4o: 約50%（Easy問題）
• DeepSeek-Coder-V2: 約45%
• Llama 3.1 70B: 約30%

問題の難易度（Easy/Medium/Hard）別にスコアが分かれており、Hardは最高モデルでも20%台に留まります。

HumanEvalとの違い

• HumanEval: 固定164問・汚染リスクあり・Python関数補完のみ
• LiveCodeBench: 継続追加・汚染防止・4タスク・競技プログラミングレベル

LiveCodeBenchの問題はアルゴリズム的に難しく、実際のソフトウェア開発よりも数学的推論や最適化が求められます。

まとめ

LiveCodeBenchは、データ汚染問題を解決した信頼性の高いコード生成評価ベンチマークとして、2024〜2025年のLLM評価コミュニティで急速に普及しました。継続的な更新により、最新モデルを公正に比較できる動的なリーダーボードとして機能しています。