AI・機械学習
中級
BFCL(ビーエフシーエル)
Berkeley Function-Calling Leaderboardの略称。LLMのツール呼び出し・関数実行能力を多言語・多シナリオで評価する業界標準ベンチマーク。
0 回閲覧
0 いいね
2026/6/7 更新
関連タグ
benchmark
function-calling
tool-use
llm-evaluation
berkeley
BFCLとは
BFCL(Berkeley Function-Calling Leaderboard)は、UC BerkeleyのSky Computing Labが開発したLLMのFunction Calling(ツール呼び出し)能力を専門的に評価するベンチマーク。2023年後半から主要LLMがFunction Calling機能を強化する中、その精度を体系的に比較する手段として注目を集めた。
Function Callingとは
Function Calling(Tool Use)とは、LLMが外部APIやツールを適切に呼び出す能力のこと。例えば「東京の天気を調べて」という指示に対し、天気APIを正しいパラメータで呼び出す関数呼び出しコードを生成する。AIエージェントシステムの根幹をなす能力だ。
評価カテゴリ
BFCLはv3において以下のカテゴリで評価を実施する:
- Simple Function Calling — 単一関数の呼び出し精度
- Multiple Functions — 複数の候補関数から適切なものを選択
- Parallel Function Calling — 複数の関数を同時に呼び出す
- Nested Function Calling — 関数の結果を別の関数に渡す複合呼び出し
- Multi-turn Conversations — 会話形式でのツール使用
- Relevance Detection — ツール不要な質問を適切に判断
対応言語・環境
Python・Java・JavaScript・SQL・REST APIなど多様な言語環境でのFunction Callingを評価する。これにより特定言語に偏った評価を避けられる。
主要モデルの比較(2024-2025年)
GPT-4o: 約92%、Claude 3.5 Sonnet: 約90%、Gemini 1.5 Pro: 約88%、Llama 3.1 70B: 約78%(全体スコアの概算)。
実用的な意義
BFCLスコアはAIエージェント・自動化システム構築時のモデル選定指標として実用性が高い。単純な知識問答とは異なる能力を測定するため、MMLU等と組み合わせてLLMの多角的な評価に活用される。