AI・機械学習
上級
SCoRe 自己修正強化学習（スコアじこしゅうせいきょうかがくしゅう）
DeepMindが2024年に提案したLLMの自己修正能力を強化学習で訓練する手法。外部フィードバックなしに誤答を自力で修正できるモデルを育てる。Gemini 1.5 Proで数学・コード正答率を大幅改善。
0 回閲覧
0 いいね
2026/6/7 更新
関連タグ
自己修正
強化学習
DeepMind
数学推論
Gemini
SCoRe 自己修正強化学習
SCoRe（Self-Correction via Reinforcement, 2024）は、LLMが「自分の誤りを自力で気づき、修正する」能力を強化学習で訓練する手法です。
なぜ自己修正が難しいか
LLMの自己修正に関する研究（Huang et al. 2023）は、外部フィードバックなしの自己修正が逆効果になりうることを示しました。モデルが正解を正解のまま改悪したり、誤答をより確信度高く維持したりするためです。
SCoReはこの問題を強化学習による明示的な自己修正訓練で解決します。
SCoReの訓練フロー
1. 問題提示
2. 初回回答（Attempt 1）→ 正誤評価 r1
3. 自己修正プロンプト: "振り返って修正してください"
4. 修正回答（Attempt 2）→ 正誤評価 r2
5. 報酬計算:
- r2=1, r1=0（修正成功）→ 最大報酬
- r2=1, r1=1（変えなくて正解）→ 中程度
- r2=0, r1=1（悪化）→ 負の報酬
6. PolicyGradientで更新
2段階訓練プロセス
Stage 1: モデル崩壊防止 単純なRLは「初回からすべて正解」に最適化し、修正能力を学ばない問題がある。Stage 1では分布崩壊を防ぐためにKL正則化を使い、ベースモデルからの乖離を制限。
Stage 2: 自己修正最適化 Stage 1で安定化した後、修正成功に対するRLを本格実施。
Gemini 1.5 Proでの実験結果
| タスク | ベースライン | SCoRe | 改善 |
|---|---|---|---|
| MATH-500 | 62.3% | 77.9% | +15.6% |
| MATH 難問 | 48.1% | 61.7% | +13.6% |
| HumanEval+ | 74.2% | 82.1% | +7.9% |
| MBPP+ | 68.4% | 74.9% | +6.5% |
Self-RefineとSCoReの違い
| Self-Refine | SCoRe | |
|---|---|---|
| 手法 | プロンプトのみ | 強化学習で訓練 |
| 訓練コスト | なし | あり（RL訓練が必要） |
| 外部フィードバック | 不要 | 訓練時は正解ラベル必要 |
| 汎化性 | 限定的 | 訓練ドメインで高い |
| 数学推論改善 | 小（〜10%） | 大（+15%以上） |
実装上の注意
SCoRe訓練には正解データ（ground truth）が必要で、オープンエンドの質問には適用しにくい。数学・コード・論理推論などの検証可能なタスクに特に向いています。
まとめ
SCoReは「やり直せるモデル」を訓練するための有望な手法です。強化学習で自己修正を明示的に学ぶことで、プロンプトベースの手法では得られない質的改善を達成しています。