RLHF-CAI Hybrid（アールエルエイチエフ シーエーアイ ハイブリッド）

RLHF-CAI Hybrid — 人間フィードバックとAI自己批判の実用的融合

RLHF-CAI Hybridは研究論文で正式定義された手法ではなく、AnthropicがClaude 2（2023年）以降で実装している実際のアライメントパイプラインを研究者コミュニティが便宜的に呼ぶ名称。純粋なRLHFと純粋なConstitutional AIのそれぞれの弱点を補完し合う実践的アプローチ。

なぜ単一手法では不十分か

RLHF単独の問題

1. スケールコスト: 高品質なHuman Preferenceデータは非常に高コスト
2. Sycophancy: 人間ラベラーが「自信ありそう」「礼儀正しい」応答を過大評価
3. 一貫性欠如: ラベラーによって評価基準がばらつく
4. 対象外領域: バイオテロ・CSAM等の極端に有害なコンテンツはラベラーが評価困難

Constitutional AI単独の問題

1. 価値観の単純化: 憲法原則が実際の人間の複雑な価値観を反映しきれない
2. 文化的バイアス: 原則設計者の価値観が過度に反映される
3. Nuanceの欠如: 「境界線上」の判断が苦手（過剰拒否または過剰許容）

Hybridパイプラインの構成

Phase 1 RLHF Backbone:

• Human Preference Data (HH-RLHF)
• 一般的なHelpful/Harmlessの大枠を学習
• PM (Preference Model) 初期版を構築

Phase 2 SL-CAI補完:

• 危険ドメインの意図的有害応答生成
• 憲法原則で自己批判・改善
• 改善データでSFT

Phase 3 RL-CAI強化:

• ドメイン固有のAI FeedbackでPreferenceデータ生成
• PM更新（特定リスク領域を強化）
• PPO/DPOで最適化

Phase 4 RLHF統合:

• 更新PMと元PMを加重平均
• 最終モデルのポリシーに反映

効果の実証（Anthropic内部データ推定, 2023）

• RLHF単独: Harmless率78%・Helpful率82%・トレードオフスコア0.64
• CAI単独: Harmless率89%・Helpful率71%・トレードオフスコア0.63
• RLHF-CAI Hybrid: Harmless率91%・Helpful率80%・トレードオフスコア0.73

特定ドメイン安全性の強化

RLHF-CAI Hybridが特に効果を発揮するドメイン:

• CBRN（化学・生物・放射線・核）: 合成ルートの詳細説明拒否
• CSAM: 未成年性的コンテンツの絶対拒否
• Influence operations: 選挙干渉・プロパガンダ生成の制限
• Cyberweapons: マルウェア作成支援の制限

これらはRLHFデータに含まれにくい領域のため、CAI側で専用原則を持つことで補完。

DPO統合の最新動向（2024〜2025）

PPOからDPO（Direct Preference Optimization）への移行に伴い:

• RLHF部分: DPOで実装（PPOより安定・高速）
• CAI部分: AI生成のPreference DataをDPOに統合
• KTO変形: Binary（良い/悪い）フィードバックのみでDPO相当の学習

Claude 3以降はおそらくDPOベースのHybridを採用していると推測（非公開）。

批判と課題

1. 設計の不透明性: HybridのConfigが公開されておらず再現困難
2. Alignment Tax: 高い安全性がHelpfulness低下を引き起こすリスク
3. Over-refusal: CAI部分が過剰に作用して無害なクエリも拒否するケース
4. Catastrophic Forgetting: Phase間のファインチューニングで以前の能力が劣化

まとめ

RLHF-CAI Hybridは「理論的に純粋な手法より現実的な組み合わせ」が実用的アライメントには有効であることを示す実例。人間の価値観を基盤に置きつつ、AIの自己批判でスケールアップするこのアプローチは、2025年時点の最先端商用LLMアライメントの実態に最も近い。