埋め込みモデルベンチマーク（ウメコミモデルベンチマーク）
埋め込みモデルベンチマーク（MTEB / BEIR）とは、テキスト埋め込みモデルの性能を多面的かつ標準化された方法で評価するためのフレームワークである。MTEB（Massive Text Embedding Benchmark）は8カテゴリ58データセットをカバーし、BEIRは18の検索データセットで構成される。モデル選定における客観的な判断基準を提供する。
埋め込みモデルベンチマークとは
埋め込みモデルの性能評価は、タスクやドメインによって最適なモデルが異なるため、単一の指標では不十分である。MTEB（Massive Text Embedding Benchmark）とBEIR（Benchmarking IR）は、この課題を解決するために設計された標準的な評価フレームワークであり、学術研究から実務でのモデル選定まで広く活用されている。
MTEBはHuggingFaceが管理するリーダーボードとして公開されており、2024年時点で250以上のモデルが登録されている。新しいモデルが発表されると、まずMTEBでの評価結果が注目される。
MTEB（Massive Text Embedding Benchmark）
評価カテゴリ
MTEBは8つのタスクカテゴリで構成され、埋め込みモデルの汎用性を包括的に評価する。
| カテゴリ | データセット数 | 主要指標 | 評価内容 |
|---|---|---|---|
| Classification | 12 | Accuracy | テキスト分類の精度 |
| Clustering | 11 | V-measure | クラスタリング品質 |
| Pair Classification | 3 | AP (Average Precision) | ペアの関係判定 |
| Reranking | 4 | MAP | 候補の再順位付け |
| Retrieval | 15 | nDCG@10 | 情報検索の精度 |
| STS | 10 | Spearman相関 | 意味的テキスト類似度 |
| Summarization | 1 | Spearman相関 | 要約の質 |
| BitextMining | 2 | F1 | 対訳文の発見 |
リーダーボード上位モデル (2024年)
| 順位 | モデル | 平均スコア | Retrieval | Classification | パラメータ |
|---|---|---|---|---|---|
| 1 | GTE-Qwen2-7B-Instruct | 67.2 | 57.1 | 77.9 | 7.6B |
| 2 | Voyage-3 | 67.3 | 58.2 | 76.8 | 非公開 |
| 3 | E5-Mistral-7B | 66.6 | 56.9 | 77.6 | 7.1B |
| 4 | BGE-M3 | 66.1 | 55.8 | 74.2 | 568M |
| 5 | text-embedding-3-large | 64.6 | 55.4 | 75.4 | 非公開 |
MTEB v2
2024年後半にはMTEB v2が提案され、従来の課題（データセットの飽和、評価バイアス）に対処するため、より難易度の高いデータセットの追加、多言語評価の強化、効率性メトリクス（推論速度・メモリ使用量）の統合が計画されている。
BEIR（Benchmarking IR）
概要
BEIRは情報検索（Information Retrieval）に特化したベンチマークで、18のデータセットで検索モデルのゼロショット汎化性能を評価する。医療（BioASQ）、科学（SCIDOCS）、金融（FiQA）、Q&A（Natural Questions）など多様なドメインをカバーしている。
| データセット | ドメイン | クエリ数 | 文書数 | 特徴 |
|---|---|---|---|---|
| MS MARCO | 一般Web | 6,980 | 8.8M | 最大規模の検索ベンチマーク |
| Natural Questions | Wikipedia Q&A | 3,452 | 2.7M | Google検索クエリベース |
| HotpotQA | マルチホップ推論 | 7,405 | 5.2M | 複数文書の推論が必要 |
| FiQA | 金融 | 648 | 57K | 金融Q&A |
| SCIDOCS | 科学 | 1,000 | 25K | 科学論文の引用関係 |
| BioASQ | 医療 | 500 | 14.9M | 生物医学Q&A |
| DBPedia | 百科事典 | 400 | 4.6M | エンティティ検索 |
評価指標
BEIRの主要指標はnDCG@10（Normalized Discounted Cumulative Gain at rank 10）であり、検索結果上位10件の適合度を加重評価する。MAP（Mean Average Precision）やRecall@100も補助指標として使用される。
多言語ベンチマーク
MIRACL
多言語情報検索ベンチマークMIRACL（Multilingual Information Retrieval Across a Complement of Languages）は、18言語のWikipedia記事を対象とした検索タスクである。日本語を含むCJK言語のサポートが充実しており、多言語埋め込みモデルの実力を測る重要な指標となっている。
| 言語 | BGE-M3 | E5-Mistral | mE5-large | Cohere v3 |
|---|---|---|---|---|
| 日本語 | 73.5 | 66.2 | 68.4 | 61.8 |
| 英語 | 74.1 | 72.8 | 70.2 | 68.5 |
| 中国語 | 69.8 | 61.4 | 65.7 | 58.2 |
| 韓国語 | 68.2 | 58.9 | 62.1 | 55.7 |
JMTEB（日本語MTEB）
2024年にはJMTEB（Japanese MTEB）が提案され、日本語に特化した埋め込みモデル評価基準が整備されつつある。形態素解析や漢字・かな混在テキストへの対応力など、日本語固有の課題に焦点を当てている。
ベンチマークの限界と注意点
データ汚染リスク
学習データにベンチマークのテスト分割が混入するデータ汚染（Data Contamination）が問題視されている。特に大規模Webコーパスで学習されたモデルでは、MTEBのデータセットが学習データに含まれている可能性がある。
タスク偏り
MTEB全体の平均スコアだけでモデルを評価すると、分類タスクのスコアが高いモデルが有利になる傾向がある。RAG用途ではRetrieval部門のスコアを重点的に確認すべきであり、多言語検索ではMIRACLの該当言語スコアが最も参考になる。
ドメインギャップ
ベンチマークは主にWikipedia・Web・学術論文のデータに基づいており、特定ドメイン（社内文書、製品マニュアル、コードベース）での性能とは乖離がある。本番導入前に自社データでの評価（カスタムベンチマーク）を実施することが不可欠である。
FAQ
Q1: MTEBスコアだけでモデルを選んで問題ないか？
MTEBスコアは比較の出発点としては有用だが、そのまま採用判断に直結させるべきではない。以下の3点を追加で確認すべきである。(1) 自社ドメインのテストデータでの性能、(2) 推論速度・コスト・デプロイ要件との適合性、(3) 対象言語での性能（英語以外の場合はMIRACLやJMTEBを参照）。
Q2: 自社データでのベンチマーク構築方法は？
50-200件のクエリと対応する正解文書のペアデータを用意し、nDCG@10とRecall@100を計算するのが基本的な方法である。RAGASライブラリやsentence-transformersのInformationRetrievalEvaluatorクラスを使えば、数行のコードで評価パイプラインを構築できる。
Q3: BEIRとMTEBの関係は？
BEIRはMTEBのRetrieval部門に統合されている。MTEBのRetrievalスコアは実質的にBEIRの評価結果に基づいており、BEIRのデータセットがそのまま使用されている。検索性能のみを比較したい場合はMTEB Retrievalスコア（≒BEIRスコア）を参照すれば十分である。
Q4: MTEBリーダーボードはどこで確認できるか？
HuggingFaceのSpaces上でmteb/leaderboardとして公開されている。フィルタ機能でモデルサイズ・言語・タスクカテゴリ別にソートでき、各モデルの詳細なタスク別スコアも確認可能である。更新は不定期だが、主要モデルのリリース後1-2週間以内に反映される傾向がある。