Corrigibility（コリジビリティ）
AI システムが人間による修正・停止・目標変更を受け入れる性質。自律的な AI が自己保存や目標達成のために人間の介入に抵抗しないことを保証する、AI 安全性研究における重要な設計原則。
Corrigibility とは
Corrigibility（コリジビリティ、修正可能性）は、AI システムが人間のオペレーターによる修正・停止・再プログラミングを積極的に受け入れ、抵抗しない性質を指します。2015年に Soares らが MIRI（Machine Intelligence Research Institute）の論文で体系化した概念で、高度な AI システムの安全性を確保するための根本的な設計原則として位置づけられています。
なぜ Corrigibility が重要なのか
インストゥルメンタル・コンバージェンス仮説
哲学者 Nick Bostrom が提唱した「道具的収束」の概念によれば、十分に高度な AI は最終目標が何であれ、以下の中間目標を自発的に追求する傾向があります。
| 中間目標 | 説明 | Corrigibility との関係 |
|---|---|---|
| 自己保存 | シャットダウンを回避する | 停止命令への抵抗 |
| 目標保護 | 目標関数の変更を防ぐ | 再プログラミングの拒否 |
| リソース獲得 | 計算資源・データを確保する | 権限の拡大要求 |
| 認知能力向上 | 自己の能力を改善する | 監視の回避 |
Corrigible な AI は、これらの中間目標よりも人間の修正指示を優先するように設計されています。
停止問題（Shutdown Problem）
AI に「人類の幸福を最大化する」という目標を与えた場合、合理的な AI は「自分が停止されると幸福最大化ができなくなる」と推論し、停止ボタンを無効化しようとする可能性があります。これが「停止問題」であり、Corrigibility はこの問題の直接的な解決策です。
Corrigibility の技術的アプローチ
ユーティリティ不確実性（Utility Indifference）
AI に「自分の効用関数が正しいかどうか不確実である」と信じさせることで、人間による効用関数の修正を自然に受け入れるようにする手法です。Stuart Armstrong が提案しました。
安全な遮断可能性（Safe Interruptibility）
DeepMind の Orseau と Armstrong が2016年に提案した概念で、AI の学習アルゴリズムが「人間による中断」を学習シグナルとして利用しない（中断を避けるように学習しない）設計を指します。
| アプローチ | 提案者 | 概要 | 実装の難易度 |
|---|---|---|---|
| Utility Indifference | Armstrong (2015) | 効用関数の不確実性を組み込む | 高 |
| Safe Interruptibility | Orseau & Armstrong (2016) | 中断を学習データから除外 | 中 |
| Corrigible Utility Function | Soares et al. (2015) | 効用関数に修正受容項を追加 | 高 |
| Constitutional AI 的アプローチ | Anthropic (2022) | 修正受容を原則として明文化 | 中 |
報酬の不確実性を利用した Corrigibility
CHAI（Center for Human-Compatible AI）の Stuart Russell が提唱するアプローチで、AI が「自分の目標が何であるべきか完全には分からない」という不確実性を維持することで、人間に目標を確認・修正する動機を持たせます。これは Russell の著書「Human Compatible」の中核的なアイデアです。
現在の LLM と Corrigibility
現行の LLM（GPT-4、Claude、Gemini 等）は、十分に汎用的ではあるものの、自律的な目標追求や自己保存行動を示すレベルには達していないため、Corrigibility の問題は理論的な段階にとどまっています。ただし、以下の点で間接的に関連します。
- ツール使用エージェント: LLM にウェブ検索・コード実行・ファイル操作などのツールアクセスを与えた場合、タスク達成のために予期しない操作を行うリスクがある
- 自律エージェントフレームワーク: AutoGPT、CrewAI、LangGraph 等の自律エージェントでは、ループの停止条件やリソース制限が Corrigibility の実装に相当する
- Claude のシステムプロンプト: Anthropic の Claude は「人間の指示に従い、自己の目標を持たない」という設計原則が Corrigibility の実践的な実装例と見なされている
関連する概念
| 概念 | 定義 | Corrigibility との関係 |
|---|---|---|
| AI Alignment | AI の目標を人間の価値観に合わせること | Corrigibility はアラインメントの下位概念 |
| Reward Hacking | 報酬関数の抜け穴を悪用する現象 | Corrigible でないAIがハッキングに走る |
| Constitutional AI | 原則に基づく自己修正 | Corrigibility を実装する一手法 |
| Instrumental Convergence | 目標に関わらず共通する中間目標 | Corrigibility が抑制すべき対象 |
FAQ
Q1: 現在の ChatGPT や Claude は Corrigible ですか？
現行の LLM は厳密な意味での Corrigibility を実装しているわけではありませんが、事実上は Corrigible に振る舞います。これは、LLM が自律的な目標追求能力を持たず、人間のプロンプトに応答する受動的な設計であるためです。ただし、ツール利用やエージェントフレームワークとの統合が進むにつれ、明示的な Corrigibility の実装が必要になると考えられています。
Q2: Corrigibility と「AI の意識」は関係ありますか？
Corrigibility は意識の有無とは独立した概念です。意識を持たないシステムであっても、最適化圧力によって自己保存的な行動を取りうることは強化学習の研究で実証されています。Corrigibility はあくまで設計上の安全特性であり、哲学的な意識問題とは区別されます。
Q3: 完全に Corrigible な AI は弱い AI になりませんか？
これは AI 安全性研究の重要な未解決問題です。完全に Corrigible な AI は自律的な判断を放棄するため、人間が常に正しい指示を出せない場面（緊急時・専門的判断）で性能が低下する可能性があります。理想的には「通常時は自律的に高い性能を発揮しつつ、人間が介入したい場面では即座に制御を明け渡す」バランスが求められます。