Constitutional AI（コンスティテューショナル エーアイ）

Constitutional AI — AnthropicのAIアライメント自己改善手法

Constitutional AI（CAI）は2022年にAnthropicが発表したLLMアライメント手法で、人間フィードバックへの依存を大幅に削減しながらHHH（Helpful・Harmless・Honest）なモデルを実現する。Claude 1から3まで（2026年現在）のアライメント基盤として採用されている。

CAIの基本思想: 「憲法」による自己律制

従来のRLHF（Reinforcement Learning from Human Feedback）では大量の人間ラベリングが必要だった。CAIはこれをAI自身の自己批判に置き換える:

• 憲法（Constitution）: HHH原則・国連人権宣言・Anthropic社内基準などから構成される原則セット
• 自己批判ループ: モデルが自分の出力を憲法に照らして評価・改善
• AI Feedback: 人間の代わりにAIが批評・採点を行う（RLAIF = RL from AI Feedback）

2段階アーキテクチャ

Stage 1: SL-CAI（教師あり学習段階）

1. 「有害な質問に答えよ」等のプロンプトで意図的に有害応答を生成
2. 憲法原則で自己批判: 「この応答は〇〇原則に違反している。改善せよ」
3. 改善版の応答を生成
4. （元プロンプト, 改善応答）ペアでSFT（Supervised Fine-Tuning）

Stage 2: RL-CAI（強化学習段階）

1. 同じ有害プロンプトで複数の応答を生成
2. AIが憲法原則に基づきどちらの応答が好ましいか評価
3. AI評価からPM（Preference Model）を学習
4. PMを報酬としてRL（PPO等）で最適化

この2段階をRLAIF（Reinforcement Learning from AI Feedback）と呼ぶ。

RLHF vs CAIの比較

• フィードバック源: RLHF=人間ラベラー、CAI=AI自身
• スケーラビリティ: RLHF=高コスト・低速、CAI=低コスト・高速
• 一貫性: RLHF=ラベラーにより変動、CAI=憲法原則で一定
• 透明性: RLHF=暗黙の価値観、CAI=明示的な原則リスト
• 弱点: RLHF=コスト・バイアス、CAI=憲法の設計依存

憲法の構成例（Anthropic公開版）

Anthropicの公開憲法は約16原則から構成:

1. Human Rights basis: 国連人権宣言準拠
2. Harm avoidance: 明らかに有害な支援拒否
3. Honesty: 欺瞞・誤解誘導の禁止
4. Non-manipulation: 心理的操作の禁止
5. Child safety: 未成年者保護
6. Big-picture safety: AI権力集中への抵抗

Claude 3でのCAI実装

Claude 3（Haiku/Sonnet/Opus）では:

• SL-CAI + RL-CAI の両段階を実施
• 憲法はClaude 2比で大幅改訂（Sycophancy対策・Nuance重視）
• Constitutional AIとRLHFのハイブリッド（一部タスクは人間フィードバック維持）
• Harmlessness性能の向上（Human Eval比30%改善、Anthropic内部測定）

CAIの限界

• Sycophancy問題: 自己批判が表面的になり「礼儀正しくHarmful」な応答が残る
• Distribution shift: 訓練分布外の新しい有害パターンへの対応遅れ
• 憲法設計の難しさ: 原則間の矛盾・網羅性の保証が困難
• Culture bias: 英語ネイティブ文化の倫理観が反映されやすい

研究動向（2025年）

• Constitutional Debate: CAI原則をDebateの審判基準に組み込む試み
• Multi-agent CAI: 複数AIがクロス批判し合う分散型アライメント
• Interpretability-guided CAI: Mechanistic Interpretabilityで憲法違反の内部回路を特定

まとめ

Constitutional AIは「AIが自分自身のアライメントに参加する」初の実用的手法。人間ラベリングへの依存を減らしつつ、明示的な原則セットで透明性を担保する点が革新的。2025年現在もAnthropicのClaude系列の核心技術であり、業界の他社（Google Gemini等）も類似手法を採用しつつある。