Constitutional AI（コンスティテューショナルエーアイ）

Constitutional AI とは

Constitutional AI（CAI）は、Anthropicが2022年12月に発表した論文「Constitutional AI: Harmlessness from AI Feedback」で提案されたAIアライメント手法。従来のRLHFの課題であった「大量の人間フィードバックコスト」と「フィードバックの不一致」を解決するために設計された。

核心アイデア：Constitution（原則）

CAIは「Constitution（憲法・原則集）」と呼ばれる倫理・価値観の集合を事前定義する。Anthropicのオリジナル論文に使用されたConstitutionの例:

• 「国連人権宣言の価値観を支持する回答を優先する」
• 「明確に有害・非倫理的・人種差別的・危険なコンテンツを避ける」
• 「人間への危害リスクがある情報を含まない回答を優先する」

2段階トレーニングプロセス

段階1: SL-CAI（教師あり学習）

1. ハーミュレスプロンプトに対してモデルが有害な回答を生成
2. モデルが自己批評（Constitution原則に照らして評価）
3. 批評に基づいて修正版回答を生成
4. オリジナル回答と修正版のペアデータで教師あり学習

段階2: RL-CAI（強化学習）

1. SL-CAIモデルが有害/有益の応答ペアを生成
2. 別のAI（フィードバックモデル）がConstitution原則に基づいて評価
3. AI評価ラベルを使って強化学習（RLAIF）

RLHF との比較

• フィードバック源: RLHF=人間評価者 / CAI=AI自己評価
• スケーラビリティ: RLHF=人間コスト依存 / CAI=高（AI生成）
• 一貫性: RLHF=評価者間でばらつき / CAI=原則ベースで統一
• 商用実装: RLHF=GPT-4/Llama等 / CAI=Claude 2/3/3.5

2025年の発展

• Claude 3.5 Sonnet/Haiku: CAI + Harmlessness Reward Modelのハイブリッド
• Collective Constitutional AI: Policymaker・一般公衆が原則定義に参加する民主的アプローチ
• RLAIF普及: Llama系列でもAI Feedbackを用いたアライメントが標準化

よくある質問（FAQ）

Q1: ConstitutionはAnthropicが決めるのか？ A: 現在の商用Claude用ConstitutionはAnthropicが定義しているが、Anthropicは「Collective Constitutional AI」でより民主的なプロセスを研究中。

Q2: CAIはHHHとどう関係するのか？ A: HHH（Helpful, Harmless, Honest）はAnthropicのClaudeの設計指針。CAIはHHHを達成するための具体的なトレーニング技術の一つ。

Q3: CAIを使ったモデルはRLHFモデルより安全か？ A: 論文では人間によるHarmlessnessスコアでRLHFと同等以上の成績を示した。ただし完全な安全性保証は難しく、レッドチーミングによる継続的評価が必要。