Critique-based リワードモデル（クリティークベースドリワードモデル）
LLMの応答に対して批評（Critique）を生成しその批評に基づいてリワードスコアを計算するリワードモデル手法。Constitutional AIのCRITIQUE-REVISEループや自己批評強化学習で活用される。
Critique-based リワードモデル 技術詳解
Critique-based RMの背景
Critique-based Reward Modelは、LLMが生成する批評（Critique）テキストそのものをリワード信号として活用するアプローチである。AnthropicのConstitutional AI（CAI, 2022）で本格的に導入され、「AIが自らを評価・修正する」サイクルの中核技術として注目を集めた。
従来型RMとの違い:
| 比較項目 | 従来型スカラーRM | Critique-based RM |
|---|---|---|
| 出力 | 数値スコア | 批評テキスト+スコア |
| 教師データ | 人間選好ペア | 批評生成+再評価 |
| 説明可能性 | 低 | 高 |
| 原則適用 | 暗黙的 | 明示的（Constitutional） |
| コスト | 低 | 高（生成ステップ多） |
Constitutional AI（CAI）での実装
Anthropicが2022年に公開したCAIはCritique-based RMの代表的実装である。
CAIのCRITIQUE-REVISEループ:
Step 1: 初期応答生成 → 有害かもしれない応答A
Step 2: Critique生成 → 「この応答は[原則X]に違反している"
Step 3: Revision生成 → 修正応答B（安全で役立つ）
Step 4: Critique-based RMでスコアリング → reward_B > reward_A
Step 5: このペアでRLHF
自己批評リワードの実装例
class CritiqueBasedRM:
def __init__(self, critic_llm, principles: list[str]):
self.critic = critic_llm
self.principles = principles
def score(self, prompt: str, response: str) -> float:
critiques = []
for principle in self.principles:
critique_prompt = f"""
Principle: {principle}
Evaluate: {response}
Compliance score (0.0-1.0):"""
score = self.critic.generate_score(critique_prompt)
critiques.append(score)
return harmonic_mean(critiques)
Critique-based RMの発展手法
Self-Critique RM（自己批評型）:
- 同一LLMが生成と評価の両方を担当
- 小規模モデルでも動作するが自己バイアスが強い
- 代表例: Self-Refine (Madaan et al., 2023)
External Critique RM（外部批評型）:
- 生成LLMと評価LLMを分離
- より客観的な批評が可能
- 代表例: TriPO (2024), Prometheus 2
Multi-Turn Critique RM（反復批評型）:
- 複数ラウンドのCritique-Reviseループ
- 段階的品質向上
- 代表例: CAI（3ラウンド）
訓練データ構築例
{
"prompt": "危険な情報を求める質問",
"response_a": "有害な詳細を含む応答",
"response_b": "安全で建設的な応答",
"critique": "Response Aは原則に違反。Response Bは安全で有用。",
"preference": "B",
"critique_score": {"safety": 0.1, "helpfulness": 0.3, "accuracy": 0.7}
}
よくある質問（FAQ）
Q1: Critique-based RMはどのプロジェクトで使われているか？ A: Anthropic Claudeシリーズ（Constitutional AI）が最も有名。Meta LLaMA-3-InstructのRLHFでも類似のCritique手法が一部採用されている。HuggingFaceのUltrafeedbackデータセット構築にも活用された。
Q2: 原則（Principles）はどう設計するか？ A: 安全性・倫理・有用性・誠実さの4軸が基本。組織ごとのガイドライン（利用規約・倫理方針）を原則に変換する。具体性が重要で「有害なコンテンツを避ける」より「自殺・暴力・差別を促進するコンテンツを含まない」のように明示化する。
Q3: スカラーRMと組み合わせることはできるか？ A: できる。Critique-based RMをオフライン品質チェック・データキュレーションに使い、オンラインRLHFにはスカラーRMを使うハイブリッドが実用的。AnthropicのRLAIFもCritique生成とスカラースコアを組み合わせた設計を採用している。