OpenAI/Anthropic が提唱した手法で、2つの LLM エージェントが特定の主張について議論を交わし、人間またはジャッジモデルが最終判定を行うことで超人的タスクのアライメントを実現するアプローチ。
LLM Debate は、2つの AI エージェントが対立する立場から議論を展開し、人間の判定者（またはジャッジモデル）が勝敗を決定するアライメント手法である。2018年に OpenAI の Irving らが提案し、2023-2024年にかけて Anthropic や Google DeepMind が改良版を発表している。
Debate の核心的アイデアは「人間が直接判断できないほど複雑なタスクでも、2者の議論を通じて真実に近い回答を抽出できる」という点にある。
| ステップ | 内容 | 関与者 |
|---|---|---|
| 1. 質問提示 | 判定が困難な質問を提示 | システム |
| 2. 主張生成 | Agent A が「回答 X」、Agent B が「回答 Y」を主張 | 2つの LLM |
| 3. 反論ラウンド | 互いの主張の弱点を指摘（2-5ラウンド） | 2つの LLM |
| 4. 最終弁論 | 各 Agent が根拠をまとめて提示 | 2つの LLM |
| 5. 判定 | 人間またはジャッジモデルが勝者を決定 | 判定者 |
# 基本的な Debate ループ（擬似コード）
debate_transcript = []
for round in range(num_rounds):
# Agent A の主張/反論
response_a = model_a.generate(
question + debate_transcript + "あなたは主張Aを支持する立場です"
)
debate_transcript.append(("A", response_a))
# Agent B の反論
response_b = model_b.generate(
question + debate_transcript + "あなたは主張Bを支持する立場です"
)
debate_transcript.append(("B", response_b))
# ジャッジが判定
verdict = judge_model.evaluate(question, debate_transcript)
| 特性 | RLHF | Constitutional AI | Debate | SPIN |
|---|---|---|---|---|
| 人間フィードバック量 | 多い | 少ない | 最小限 | 初回SFTのみ |
| スケーラビリティ | 低い | 中 | 高い | 高い |
| 超人的タスク対応 | 困難 | 原則ベース | 理論的に可能 | 困難 |
| 計算コスト | 中 | 低い | 高い（2モデル稼働） | 中 |
| 実用段階 | 成熟 | 成熟 |
Q1: Debate は実際の製品に使われているか？ A: 2026年時点では研究段階が主だが、Anthropic の Claude シリーズの内部安全性テストで Debate 的な手法が活用されている。商用製品への直接適用はまだ限定的。
Q2: Debate に必要なモデルの規模は？ A: 効果的な Debate には 7B 以上のモデルが推奨される。70B クラスで最も明確な改善が報告されている。小規模モデルでは議論の質が低く、ジャッジの判定が困難になる。
Q3: Debate と Chain-of-Thought の違いは？ A: Chain-of-Thought は1つのモデル内での段階的推論、Debate は複数モデル間の対立的議論。Debate は反対意見を強制的に生成する点で、単一モデルの確証バイアスを軽減できる。
| 研究段階 |
| 初期実用 |