Generativeリワードモデル（GenRM）（ジェネラティブリワードモデルジェネアールエム）

Generativeリワードモデル（GenRM）技術詳解

GenRMの動作原理

Generative Reward Model（GenRM）は従来のスカラー出力型リワードモデルを進化させた手法である。従来型RMがプロンプト・応答ペアから直接スカラーを出力するのに対し、GenRMは先にテキスト形式の評価根拠（Critique/Rationale）を生成し、その後でスコアを出力する。

従来型RM（スカラー出力）:

入力: [prompt + response] → 出力: 0.73 (スカラー)

GenRM（生成型）:

入力: [prompt + response]
→ 中間出力: "この応答は質問に直接回答しているが、
             根拠が不足しており事実の正確性に懸念がある。
             親切さは高いが有用性は中程度。"
→ 最終出力: 0.61 (スカラー)

評価理由の生成が「思考チェーン」として機能し、より一貫したスコアリングが可能になる。

代表的なGenRMフレームワーク

GenRMの学習パイプライン

Self-Taught Evaluatorパターン（合成データ）:

def generate_synthetic_critique_data(prompt, response_pair):
    system_prompt = """
    You are an expert evaluator. Given a prompt and two responses,
    generate a detailed critique explaining which is better and why,
    then output a preference score.
    """
    return call_gpt4(system_prompt, prompt, response_pair)

GenRMの主な利点

1. 説明可能性（Explainability）

• スコアの根拠をテキストで確認可能
• モデル開発者がRM挙動をデバッグしやすい

2. 高品質スコアリング

• Critique生成が「考える」プロセスとして機能
• 複雑な評価軸（事実性・安全性・倫理）に対応

3. 対話的評価

• Critiqueに基づいて応答を改善する反復サイクルが可能
• Constitutional AI（CAI）スタイルの自己改善に応用

4. Multi-Criteria対応

• 単一スコアでなく複数軸のCritiqueを生成可能
• 例: 「有用性: 高、安全性: 中、事実性: 要改善」

課題と限界

• 推論コスト: スカラーRMより生成ステップが多く遅い
• Critique quality: ベースモデルの能力に依存
• Train-test leakage: critiqueがスコアより早く生成されるため情報漏洩の懸念

よくある質問（FAQ）

Q1: GenRMはスカラーRMより常に優れているか？ A: 品質では優れるが速度・コストでは劣る。オンラインRLHFのような高速フィードバックが必要な場面ではスカラーRMが選ばれる。GenRMはオフライン評価・データキュレーション・説明可能性が重要な場面に適する。

Q2: GenRMをPPOに使えるか？ A: 可能だが遅い。実践ではGenRMをテキスト評価用に使い、そのcritiqueを元に軽量スカラーRMを蒸留して高速化するハイブリッドアプローチが現実的。

Q3: 日本語GenRMの開発状況は？ A: 2025年時点では英語GenRMが主流。日本語では東京大学・LLM-jp等が評価モデルの研究を進めているが、汎用GenRMとして公開されたものはまだ少ない状況である。