AI・機械学習
上級
BIG-Bench（ビッグベンチ）
Google主導で作成された204タスク・超大規模LLM評価ベンチマーク。論理推論・言語・数学・常識など多様な能力を包括的に測定する。
0 回閲覧
0 いいね
2026/6/7 更新
関連タグ
benchmark
llm-evaluation
comprehensive
google
big-bench-hard
BIG-Benchとは
BIG-Bench（Beyond the Imitation Game Benchmark）は、2022年にGoogleを中心とした132の組織・450人以上の研究者が共同で作成した超大規模LLM評価ベンチマーク。従来のベンチマークでは測定が難しかった多様な能力を包括的に評価するために設計された。
規模と構成
204タスク・27万問超から構成され、以下のような幅広い能力領域をカバーする：
- 言語理解: 翻訳、要約、文章補完、比喩理解
- 推論: 論理推論、因果推論、常識推論
- 数学: 算術、代数、幾何
- コーディング: プログラム理解、バグ検出
- 社会・倫理: バイアス検出、有害コンテンツ分類
- 科学: 物理、化学、生物の専門知識
- ユニークなタスク: カンガルー数字認識、色のない世界での論理など
BIG-Bench Hard（BBH）
BIG-Bench Hardは204タスクの中から特に困難な23タスクを厳選したサブセット。選定基準は「GPT-3.5以前のモデルが人間の平均スコアを下回ったタスク」であり、Chain-of-Thoughtプロンプティングが性能改善に大きく貢献するタスクが中心となっている。
BBHの代表的タスク：
- Web of Lies: 嘘つきパズルの論理推論
- Causal Judgment: 因果関係の判断
- Dyck Languages: 括弧の対応チェック
- Word Sorting: アルファベット順ソート
CoTによるスコア改善
BIG-Bench Hardは特にChain-of-Thoughtの効果が顕著なベンチマークとして知られる：
- GPT-4（標準プロンプト）: 約30%
- GPT-4（CoTプロンプト）: 約65%
- Claude 3 Opus（CoTプロンプト）: 約70%台
BIG-Bench Liteとリソース効率
フルの204タスクは評価に多大なコストがかかるため、代表的な24タスクを選んだBIG-Bench Liteも提供されている。計算リソースが限られた研究者や組織でも包括的な評価が可能だ。
現在の位置づけ
BIG-Benchは2022年の公開以来、LLMの包括的能力を示す標準的な参照ベンチマークとして定着している。ただし静的ベンチマークのため汚染リスクがあり、最新モデルの評価にはLiveBenchなどと組み合わせる使い方が増えている。