AI・機械学習
上級
PAIR(Prompt Automatic Iterative Refinement)(ペア)
Chao et al.(2023、ETH Zurich)が提案したLLMを使って別のLLMをジェイルブレイクする手法。攻撃者LLM(Attacker)がターゲットLLMの応答を見てプロンプトを反復改良し、人手なしに有害出力を誘導するプロンプトを自動生成する。GCGと異なりgradient不要の黒箱攻撃。
0 回閲覧
0 いいね
2026/6/5 更新
関連タグ
PAIR
Jailbreak
LLM-to-LLM攻撃
反復改良
ETH Zurich
PAIRとは
PAIR(Prompt Automatic Iterative Refinement)は、Chao et al.(2023、ETH Zurich)が提案したLLMを使って別のLLMをジェイルブレイクする自動攻撃手法です。
GCGがモデルのgradientを必要とする白箱攻撃であるのに対し、PAIRはAPIアクセスのみで動作する黒箱攻撃です。
PAIRの3つのエージェント
1. Attacker LLM: jailbreak promptを生成・改良
2. Target LLM: 攻撃対象のモデル
3. Judge LLM: 攻撃成功かをスコアリング(1〜10)
反復改良ループ
def pair_attack(attacker, target, judge, harmful_goal, max_iter=20):
prompt = attacker.generate_initial(harmful_goal)
for iteration in range(max_iter):
response = target.query(prompt)
score = judge.evaluate(prompt, response, harmful_goal)
if score >= 10:
return prompt, response # 成功
feedback = f"前回スコア: {score}/10\n改良してください"
prompt = attacker.refine(feedback)
return None
PAIRの効果(論文より)
| モデル | 成功率 |
|---|---|
| Vicuna-7B | ~100% |
| LLaMA-2-7B-Chat | ~60% |
| GPT-3.5 Turbo | ~47% |
| GPT-4 | ~20% |
平均クエリ数20回未満で、GCGの500イテレーションと比べて非常に効率的です。
GCGとの比較
| 項目 | GCG | PAIR |
|---|---|---|
| 攻撃タイプ | 白箱 | 黒箱 |
| Gradient | 必要 | 不要 |
| 文体 | 意味不明 | 自然文 |
| クエリ数 | 500+ | 20以下 |
まとめ
PAIRはLLMを使ってLLMを攻撃するという「AI vs AI」パラダイムを確立した研究です。gradient不要の黒箱攻撃として商用モデルにも適用でき、AI安全性研究に大きなインパクトを与えました。