LLM創発的能力（エルエルエムソウハツテキノウリョク）
LLM創発的能力（Emergent Abilities）とは、大規模言語モデルのパラメータ数や訓練データ量が一定の閾値を超えた際に、小規模モデルでは観測されなかった新たな能力が突然出現する現象を指す。Chain-of-Thought推論、In-Context Learning、多桁演算などが代表例として挙げられるが、2023年以降その解釈は論争の的となっている。
LLM創発的能力とは
LLM創発的能力（Emergent Abilities of Large Language Models）とは、モデルのスケール（パラメータ数・訓練データ量・計算量）が一定の臨界点を超えた際に、小規模モデルでは全く観測されなかった質的に新しい能力が「突然」出現する現象を指す。2022年にGoogle DeepMindのJason Weiらが「Emergent Abilities of Large Language Models」論文で体系化し、LLMスケーリング研究の重要なテーマとなった。
創発的能力の定義と特徴
Wei et al. (2022) は創発的能力を以下のように定義した：
「ある能力が、小さなモデルには存在しないが、大きなモデルで出現する場合、その能力を創発的と呼ぶ」
この定義の核心は 非連続性 にある。通常のスケーリング則ではテスト損失はべき乗則で滑らかに改善されるが、特定のタスクにおいてスコアが「ランダム水準→突然高性能」に急激に変化するパターンが観測された。
代表的な創発的能力
| 能力 | 閾値スケール | 代表モデル | ランダム水準 | 創発後スコア |
|---|---|---|---|---|
| Chain-of-Thought推論 | 〜62B | PaLM 62B+ | <10% | 60〜80% |
| 多桁加算（3桁+3桁） | 〜13B | GPT-3 175B | <1% | 〜60% |
| In-Context Learning（ICL） | 〜6.7B | GPT-3 6.7B+ | ランダム | 70〜85% |
| Word Unscrambling | 〜100B | PaLM 540B | 0% | 〜40% |
| 国際音声記号(IPA)変換 | 〜62B | PaLM 62B+ | 0% | 〜30% |
| BIG-Bench Hard平均 | 〜540B | PaLM 540B | 33%（ランダム） | 〜65% |
| Modular Arithmetic | 〜62B | PaLM 62B+ | 25%（ランダム） | 〜55% |
Wei et al.の分析では、BIG-Benchの207タスク中67タスク（32%）が何らかの創発パターンを示すと報告された。
創発は「本物」か？ — 批判的再検討
2023年以降、創発的能力の解釈に対して重大な反論が提出された。
Schaeffer et al. (2023)「Are Emergent Abilities of Large Language Models a Mirage?」 は、創発が評価指標のアーティファクトである可能性を指摘した：
- 離散的指標: 正誤判定（Exact Match）やMultiple Choiceの正答率は、連続的な能力改善を離散的に測定するため、閾値効果が生じる
- 滑らかな指標: Brier Score、Token-level Accuracy、Log-likelihoodなど連続的な指標で測定すると、創発的な「ジャンプ」は消失し、滑らかなスケーリング改善が観測される
- 統計的必然性: 選択肢4つのMultiple Choiceでは、能力が25%（ランダム）を少し超えた時点で正答率が急上昇するように見える
つまり、創発は「モデルの能力の質的変化」ではなく「評価方法の不連続性」に起因する可能性がある。
賛成派vs批判派の論点
| 論点 | 創発は本物（Wei et al.） | 創発は幻（Schaeffer et al.） |
|---|---|---|
| 証拠 | BIG-Bench 67タスクで急激な改善 | 連続指標では滑らかな改善 |
| 原因 | モデル内部の質的変化 | 評価指標の閾値効果 |
| 予測可能性 | 出現タイミングは予測困難 | 連続指標なら予測可能 |
| 実用的意味 | 次のスケールで何が起きるか不明 | スケーリング則で予測可能 |
| 代表指標 | Exact Match, Accuracy | Brier Score, Token Accuracy |
| 結論 | スケーリングに質的転換がある | スケーリングは全て滑らか |
2024〜2025年の研究コンセンサスは中間的な立場に収斂しつつある：「個別タスクの正答率は評価指標で不連続に見えるが、基底能力自体は連続的に改善している。ただし、複数の基底能力の組み合わせにより質的に新しいタスク遂行が可能になるという意味での創発は否定しきれない」。
Chain-of-Thought推論の創発性
創発の最も有名な事例であるChain-of-Thought（CoT）推論について詳細に検討する：
- PaLM 8B: 標準prompt → 16.3%、CoT prompt → 17.7%（改善なし）
- PaLM 62B: 標準prompt → 28.7%、CoT prompt → 58.1%（+29.4pt劇的改善）
- PaLM 540B: 標準prompt → 49.7%、CoT prompt → 73.5%（+23.8pt大幅改善）
CoTの有効性が62B付近で「突然」出現するパターンは創発の典型例とされた。ただし、これもToken-levelの対数尤度で測定すると62B以前から連続的な改善が見られるとSchaeffer et al.は主張している。
実用上の意味
創発が「本物」か「幻」かに関わらず、実用上の重要な含意がある：
- 予測困難性: 特定のベンチマークでの「ジャンプ」タイミングは予測困難であり、新モデル開発時のリスク要因
- 安全性の懸念: 有害な能力（高度なフィッシングメール作成、バイオ兵器設計支援など）も創発的に出現する可能性
- 評価設計: 離散的な正誤判定だけでなく、連続的な中間指標を含めた多面的な評価が必要
- 小型モデルの可能性: 蒸留・量子化・高品質データで小型モデルに「創発的」能力を転移させる研究が活発化
2025-2026年の最新動向
- Test-time Compute Scaling: OpenAI o1/o3は推論時のCoTトークン数を増やすことで、訓練スケールに依存しない形で「創発的」な推論能力を引き出す
- Skill Composition: 基本スキルの組み合わせとして創発を理解する理論的枠組み（Arora & Goyal, 2023）
- Grokking現象: 訓練データの暗記→突然の汎化への転換パターンが創発と関連する可能性
- Instruction Tuning効果: FLAN-PaLM研究で、Instruction Tuningにより小型モデルでも創発的タスクの性能が向上することが示された
よくある質問（FAQ）
Q1: 創発的能力を事前に予測する方法はあるか？ A: 現時点で確立された予測方法はない。テスト損失のスケーリング則は高精度に予測できるが、特定タスクの「閾値超え」タイミングの予測は困難である。ただしSchaeffer et al.の指摘に従い、連続的な指標（Token Accuracy、Log-likelihood）でモニタリングすれば、離散指標での「突然の改善」を事前に検知できる可能性がある。
Q2: 創発的能力はオープンソースモデルでも観測されるか？ A: はい。Llama 2 70BでCoT推論、Falcon 40BでICL、Mistral 7Bで基本的なCoTなど、オープンソースモデルでも規模に応じた創発パターンが観測される。ただし、Instruction Tuningの品質・RLHF・データキュレーションの影響が大きく、純粋なスケール効果との分離は難しい。
Q3: 危険な創発的能力への対策は？ A: 主要なアプローチは (1) Red Teaming:意図的に危険な能力をテストする、(2) Constitutional AI:モデルに倫理的制約を埋め込む、(3) RLHF:人間のフィードバックで有害出力を抑制、(4) 段階的リリース:社内テスト→限定公開→一般公開の段階的デプロイ。ただし、事前に全ての危険能力を予測することは原理的に困難であり、継続的なモニタリングが不可欠である。
まとめ
- 創発的能力はスケール閾値を超えた際に「突然」出現する新能力とされたが、評価指標のアーティファクトとの批判がある
- 離散指標（Accuracy）では不連続に見えるが、連続指標（Brier Score）では滑らかな改善を示す
- CoT推論・ICL・多桁演算が代表例、BIG-Benchの32%のタスクで創発パターンが報告
- 2025年現在、「基底能力は連続改善、複合タスク遂行における質的転換は否定しきれない」が主流見解