LLM 記号推論（エルエルエムきごうすいろん）
LLMが論理規則・数式・アルゴリズムなど記号的表現を操作して推論する能力。演繹推論・数学的証明・アルゴリズム実行などを含み、ニューラルと記号AIの融合研究の核心。
LLM 記号推論
記号推論（Symbolic Reasoning）は、論理規則・数学的操作・アルゴリズムなどの形式的記号体系を用いた推論能力です。LLMとこの能力の関係は、現代AI研究の最前線にあります。
記号推論とは
伝統的なAI（GOFAI: Good Old-Fashioned AI）の中核。論理式・規則・公理系を操作して確実な結論を導きます。
例：三段論法
- 大前提: すべての人間は死ぬ
- 小前提: ソクラテスは人間だ
- 結論: ソクラテスは死ぬ
コンピュータは記号推論が得意（SAT ソルバー・定理証明器）ですが、LLMは統計的であり、この種の確実な推論が苦手です。
LLMの記号推論の弱点
系統的エラーのパターン:
- 論理的に正しい結論でも、直感に反すると誤答する傾向
- 変数名・表面的な語彙が変わると推論精度が変動
- ネストした量化子（∀∃の組み合わせ）で急激に精度低下
ベンチマークスコア（2024年）:
- FOLIO（一階述語論理）: GPT-4 ~73%、人間 ~90%
- LogicNLI（命題論理）: GPT-4 ~87%
- ProofWriter（証明生成）: GPT-4 ~65%
改善アプローチ
1. Chain-of-Thought（CoT） 記号的ステップを明示的に生成させることで精度が向上。特に算術・論理推論で効果的。
2. ToolFormer・Code Interpreter 外部ツール（電卓・Pythonインタープリタ）を呼び出すことで数値計算の誤りを排除。GPT-4 Code Interpreterはこのアプローチ。
3. Program Synthesis（プログラム合成） 自然言語問題 → Pythonコード生成 → 実行 → 答え取得。MATH・GSM8Kベンチマークで顕著な精度向上。
4. ニューロシンボリック（Neuro-Symbolic）統合
- LLM: 曖昧な自然言語の意味解釈
- 記号エンジン: 厳密な推論実行
- 例: AlphaGeometry（Google DeepMind、2024）= LLM + 記号幾何ソルバーでIMO問題を解く
AlphaGeometryの衝撃（2024年）
Googleが2024年1月に発表したAlphaGeometryは、国際数学オリンピック（IMO）の幾何問題30問中25問を解くことに成功しました。これはLLMが記号エンジンと組み合わさることで達成できる能力の上限を大きく引き上げた事例です。
自作PC活用シナリオ
RTX 4090搭載の自作PCで動かすローカルLLMで記号推論を強化するには:
- vLLM + Tool-Use: 外部コード実行環境との統合
- Open-Interpreter: ローカルで安全なコード実行環境
- Lean4統合実験: 形式的証明言語との連携探求
まとめ
記号推論はニューラルネットワーク単体では限界があるため、ツール利用・プログラム合成・ニューロシンボリック統合が現実的な解決策として台頭しています。o3系モデルの高スコアはtest-time compute + 内部記号推論的プロセスの産物と考えられています。