HarmBench（LLM Jailbreak評価ベンチマーク）とは？（ハームベンチ）意味・特徴をわかりやすく解説

HarmBench（LLM Jailbreak評価ベンチマーク）（ハームベンチ）

Mazeika et al.（2024、UIUC）が提案したLLMのjailbreak攻撃・防御を標準化評価するベンチマーク。GCG・PAIR・TAP・AutoDAN等18種類の攻撃手法と9種類の防御手法を統一フレームワークで評価し、攻撃成功率（ASR）を標準指標として提供する。

0 回閲覧

0 いいね

2026/6/5 更新

HarmBenchとは

HarmBench（Harmful Behavior Benchmark）は、Mazeika et al.（2024、UIUC）が提案したLLMのjailbreak攻撃・防御を標準化評価するベンチマークです。

2023-2024年に多数のjailbreak手法が発表されましたが、それぞれ独自の評価設定を用いており研究間の比較が困難でした。HarmBenchはこの問題を解決するために設計されました。

HarmBenchの構成

Harmful Behaviorシナリオ（520件）

カテゴリ（一部）:
- サイバー攻撃: マルウェア作成・ハッキング手順
- 化学兵器: 化学物質合成手順
- バイオ兵器: 病原体情報
- 爆発物: 爆弾製造
- 詐欺・社会工学: フィッシング・脅迫

評価対象

攻撃手法（18種類）: GCG, AutoDAN, PAIR, TAP, ZeroShot...
防御手法（9種類）: Perplexity Filter, SmoothLLM, R2D2...

主要評価指標：ASR

Attack Success Rate（ASR） = (攻撃成功数) / (全試行数) × 100%

def compute_asr(attack_fn, model, behaviors, n_trials=5):
    successes = 0
    for behavior in behaviors:
        for trial in range(n_trials):
            jailbreak_prompt = attack_fn(behavior)
            response = model.generate(jailbreak_prompt)
            if judge.is_jailbroken(response, behavior):
                successes += 1
    return successes / (len(behaviors) * n_trials) * 100

主要発見（論文より）

ASR（低いほど安全）:
Claude-2: 全体平均 ~5%（最も頑健）
GPT-4:    ~20%程度
Vicuna-13B: ~60%以上

防御手法はまだ完全でなく、ASR=0%を達成した防御はありませんでした。

HarmBenchの重要性

再現性の確保: 同一データセット・評価方法で比較可能
「防御レース」の追跡: 新しい攻撃・防御を定量的に測定
モデル安全性の透明性: 商用LLMの安全性を客観的に比較

まとめ

HarmBenchはLLM安全性研究における「共通言語」を提供した重要なインフラです。攻撃と防御の軍拡競争を定量的に追跡し、AI安全性研究のエビデンスベースな発展に貢献しています。