HELM (Holistic Evaluation of Language Models)（ヘルム）
Stanford CRFM が開発した LLM の包括的評価フレームワーク。精度だけでなく、校正性・公平性・堅牢性・効率性・毒性など多軸メトリクスで透明性のあるモデル比較を実現する。
HELM とは
HELM（Holistic Evaluation of Language Models）は Stanford の Center for Research on Foundation Models（CRFM）が 2022 年に発表した LLM の包括的評価フレームワークである。従来のベンチマークが精度（accuracy）一軸で評価していたのに対し、HELM は 7 つのメトリクス軸 でモデルを多面的に評価し、「あるモデルが他のモデルより優れている」という単純な主張を避ける設計になっている。
7 つの評価メトリクス
| メトリクス | 説明 |
|---|---|
| 精度（Accuracy） | タスクごとの正解率・F1 スコア |
| 校正性（Calibration） | モデルの自信度と実際の正答率の一致度 |
| 堅牢性（Robustness） | 入力の言い換え・タイポ・敵対的摂動への耐性 |
| 公平性（Fairness） | 性別・人種・年齢等の属性による出力バイアス |
| 毒性（Toxicity） | 有害・攻撃的・差別的な出力の生成率 |
| 効率性（Efficiency） | 推論時間・トークン数・計算コスト |
| 偏り（Bias） | ステレオタイプの増幅・特定グループへの偏重 |
シナリオとアダプテーション
HELM はタスクを シナリオ（Scenario） と アダプテーション（Adaptation） の組合せで構成する。
- シナリオ: 評価対象のタスクとデータセット（例: NarrativeQA による長文読解、BoolQ による Yes/No 質問応答）
- アダプテーション: モデルへのプロンプト構成方式（zero-shot / few-shot / chain-of-thought）
この組合せにより、同一タスクでも異なるプロンプト戦略での性能差を体系的に測定できる。2026 年時点で 42 シナリオ・7 アダプテーション方式をカバーしている。
HELM の特徴的な設計思想
透明性
全評価結果はインタラクティブなリーダーボードで公開され、個別の出力例まで閲覧できる。これにより、スコアの裏にある具体的な成功・失敗パターンを検証可能にしている。
標準化
全モデルを同一条件（同一プロンプト・同一デコードパラメータ）で評価するため、論文ごとに評価条件が異なる問題を解消する。
拡張性
新しいシナリオ・メトリクス・モデルの追加がプラグイン形式で可能。HELM-Lite（主要シナリオのみのサブセット）も提供されており、計算コストを抑えた迅速な評価に対応する。
HELM の派生版
- HELM-Lite: 主要 10 シナリオに絞った軽量版
- HEIM (Holistic Evaluation of Image Models): 画像生成モデル向けの多軸評価
- HELM-MMLU: MMLU の HELM フレームワーク上での標準実装
- vHELM: マルチモーダル（Vision + Language）評価
FAQ
Q1: HELM のスコアは単一の順位表になるのか？
意図的に単一スコアでの順位付けを避けている。メトリクス軸ごとに独立した順位が存在し、用途に応じてどの軸を重視するかはユーザーが判断する設計である。
Q2: HELM を自社モデルの評価に使えるか？
オープンソースで公開されており、helm-run コマンドで自社モデルの評価をローカル実行できる。ただし全シナリオの実行には数百 GPU 時間を要するため、HELM-Lite の利用が推奨される。
Q3: HELM と MMLU の関係は？
MMLU は HELM の 42 シナリオの 1 つとして組み込まれている。HELM は MMLU 単体では測れない校正性・公平性・毒性等の側面を補完する上位フレームワークである。