LLM 組み合わせ汎化（エルエルエムくみあわせはんか）

LLM 組み合わせ汎化（Compositional Generalization）

組み合わせ汎化とは、訓練で見た「部品」を新しい方法で組み合わせる能力です。人間の言語能力の核心であり、LLMの根本的限界として活発に研究されています。

なぜ重要か

チョムスキーが指摘したように、人間は有限の語彙と規則から無限の文を生成できます。「食べる」「赤いリンゴ」を知っていれば、「赤いリンゴを食べる」を初めて聞いても理解できます。これが組み合わせ汎化です。

LLMがこれを真に習得していれば、訓練データにない組み合わせも正確に処理できるはずです。

主要ベンチマーク

SCAN（2018, Lake & Baroni）

• 英語命令文 → 行動シーケンスへの変換
• 例: "jump twice and walk left" → JUMP JUMP TURN_LEFT WALK
• Split: "jump"は訓練、"jump around"はテスト → LLMは系統的汎化に失敗

COGS（2020, Kim & Linzen）

• 英語文の意味表現（意味解析）への変換
• 動詞・名詞の新規組み合わせで大幅な性能低下を確認

CFQ（Compositional Freebase Questions, 2020, Google）

• SPARQL クエリ生成タスク
• 組み合わせの複雑さに比例してモデル性能が低下

LLMの苦手さの理由

Transformerアーキテクチャは分布内（in-distribution）サンプルには強いが、系統的な規則の抽象化は苦手です。訓練データの組み合わせを統計的に記憶する傾向があり、真の規則学習ではない可能性があります。

改善アプローチ

• Neural-Symbolic Hybrid: ニューラル部分と記号推論部分を組み合わせる
• Structural Prompting: 構造化された中間表現を経由させるCoTの活用
• GROK現象: Transformerが長期訓練で突然汎化を達成する現象（2022年）
• Data Augmentation: 組み合わせを意識したデータ生成

現状と課題

GPT-4やClaude 3などの大規模LLMは、few-shotとCoTを組み合わせることでSCANの多くを解けるようになりました。しかし分布外（out-of-distribution）の組み合わせでは依然として人間以下の性能です。組み合わせ汎化はAGIへの道の重要な課題として残り続けています。

まとめ

組み合わせ汎化はLLMが「本当に言語を理解しているか」を問う試金石です。自作PCでローカルLLMを評価する際、SCAN/COGSスコアは統計的パターンマッチングを超えた推論能力の指標になります。