Constitutional AI（CAI）（コンスティテューショナルエーアイ）
Anthropic が提唱した AI アライメント手法で、人間のフィードバックの代わりに「憲法（Constitution）」と呼ばれる原則セットを用いて AI の出力を自己改善させる技術
Constitutional AI（CAI）とは
Constitutional AI（CAI）は、Anthropic が 2022 年に発表した AI アライメント手法である。従来の RLHF（Reinforcement Learning from Human Feedback）では大量の人間アノテーターが必要だったが、CAI では「憲法」と呼ばれる明文化された原則セットを AI 自身に与え、自己批評・自己修正のループを通じて出力品質を高める。Claude シリーズの安全性基盤として実装されている。
基本的な仕組み
CAI のトレーニングは大きく 2 段階で構成される。
- SL（Supervised Learning）フェーズ: モデルに有害な応答を生成させた後、憲法の原則に照らして自己批評（critique）を行い、修正版（revision）を生成する。この修正後の応答を教師データとしてファインチューニングする
- RL（Reinforcement Learning）フェーズ: 修正済み応答ペアを使って報酬モデルを訓練し、RLAIF（RL from AI Feedback）で最終調整する
- 憲法の原則は「有害でないこと」「正直であること」「有用であること」の HHH（Helpful, Harmless, Honest）を基盤とする
- 原則は自然言語で記述され、例えば「差別的な表現を含まないように修正してください」「法的に問題のある助言を避けてください」といった具体的な指示が含まれる
- 人間のアノテーターへの依存を大幅に削減でき、スケーラビリティが高い
- Anthropic の論文「Constitutional AI: Harmlessness from AI Feedback」（2022年12月）で初めて体系化された
- 2024-2025 年にかけて Claude 3 / Claude 3.5 / Claude 4 シリーズに順次適用され、安全性と有用性のバランスが大幅に向上した
- 2026 年現在、Google DeepMind の Gemini Safety や Meta の Llama Guard にも類似アプローチが採用されている
従来手法との比較
| 手法 | アノテーター依存 | スケーラビリティ | 原則の透明性 | コスト | 代表モデル |
|---|---|---|---|---|---|
| RLHF | 高（数千人規模） | 低 | 暗黙的 | $500K-2M/回 | InstructGPT, GPT-4 |
| Constitutional AI (RLAIF) | 低（原則設計のみ） | 高 | 明示的（憲法文書） | $50K-200K/回 | Claude 3/4 シリーズ |
| DPO | 中（ペアデータ必要） | 中 | 暗黙的 | $100K-500K/回 | Zephyr, Tulu |
| Self-Play | 低 | 中 | 部分的 | $200K-800K/回 | Llama 3 |
| Rule-Based Rewards | なし | 高 | 明示的 | $10K-50K/回 | Phi-3 Safety |
Constitutional AI の適用事例
- Anthropic Claude シリーズ: Claude 3 Opus / Sonnet / Haiku（2024年）、Claude 3.5 Sonnet（2024年6月）、Claude 4 Opus / Sonnet（2025年）で CAI が安全性の中核を担う。2026 年の Claude 4.5 では憲法の動的更新機能が追加された
- Google DeepMind: Gemini 1.5 Pro / Ultra の安全フィルタリングに CAI 類似の「Constitutional Principles」を採用（2024年）
- Meta AI: Llama 3 / 3.1 の安全性トレーニングで CAI の自己批評ループを参考にした「Llama Guard」を開発
- Cohere: Command R+ の安全性トレーニングに CAI 派生手法を適用（2024年）
- Mistral AI: Mistral Large の安全性ガードレールに原則ベースの自己修正メカニズムを組み込み
RLHF との詳細比較
- データ効率: RLHF は 1 タスクあたり数万件の人間ラベルが必要だが、CAI は数十〜数百の原則で同等以上の安全性を達成する
- 一貫性: 人間アノテーターは個人差が大きく、同一プロンプトに対する判断がばらつく。CAI は原則が固定されているため一貫した基準で評価できる
- 透明性: 憲法は公開可能な自然言語文書であり、外部監査やユーザーへの説明に適している。RLHF の報酬モデルはブラックボックス化しやすい
- 拡張性: 新たな安全基準（例: 2025 年の EU AI Act 対応）を追加する場合、CAI は憲法に新原則を追記するだけで済む。RLHF は再度大規模アノテーションが必要
よくある質問（FAQ）
Q1: Constitutional AI は RLHF を完全に置き換えるものですか？ A: 完全な置き換えではなく補完関係にある。Anthropic の実装でも RLAIF（AI フィードバックによる強化学習）と少量の人間フィードバックを併用しており、CAI 単独ではカバーしにくい微妙なニュアンス判断は人間が担当する。
Q2: 憲法の原則はどのように設計されるのですか？ A: Anthropic では、国連人権宣言、Apple の利用規約ガイドライン、研究倫理の原則などを参考に、自然言語で数十〜百数十の原則を記述する。原則は「〜してはならない」という禁止規則と「〜すべきである」という推奨規則の組み合わせで構成される。
Q3: CAI で訓練されたモデルは過剰に安全（over-refusal）になりませんか？ A: 初期の CAI 実装では過剰拒否が課題だったが、Anthropic は「有用であること」を憲法の原則に明示的に含め、HHH バランスを取ることで改善した。Claude 3.5 以降では過剰拒否率が Claude 2 比で約 40% 削減されている。
Q4: オープンソースモデルにも CAI は適用できますか？ A: 原理的には可能で、Hugging Face の TRL ライブラリに CAI パイプラインの実験的サポートがある。ただし、自己批評の品質はベースモデルの能力に依存するため、70B パラメータ以上のモデルでないと効果が限定的とされる。
まとめ
- Constitutional AI は「憲法」による自己批評・自己修正ループで AI の安全性を高める手法
- RLHF と比較して人間アノテーターへの依存が少なく、スケーラビリティと透明性に優れる
- Claude シリーズの安全性基盤として実績があり、他社モデルにも影響を与えている
- EU AI Act など規制対応にも原則追加で柔軟に対応可能