Compiler Optimization with LLM（コンパイラオプティマイゼーションウィズエルエルエム）
コンパイラの最適化フェーズ（パス選択・フラグ調整・ループ変換等）にLLMを適用し、従来のヒューリスティクスやコスト関数では到達困難な最適化を実現する研究領域。
Compiler Optimization with LLMとは
Compiler Optimization with LLM（LLMによるコンパイラ最適化）は、コンパイラが行う最適化判断をLLMに委ねるアプローチである。従来のコンパイラは固定的なヒューリスティクスやコストモデルで最適化パスを選択するが、LLMはコードの意味的理解に基づいてより適切な最適化戦略を推論できる。
最適化対象の分類
パスオーダリング（Pass Ordering）
LLVMには150以上の最適化パスがある。これらの適用順序によってコード品質が大きく変わるが、組み合わせ空間は天文学的（150! 通り）で、従来は-O2等の固定プリセットに頼っていた。
LLMベースのアプローチでは、入力コードのIR表現を読み取り、最適なパス列を直接生成する。Meta LLM Compilerの実験では、-Oz（サイズ最適化）の77%の性能を自動達成している。
フラグ調整（Flag Tuning）
コンパイラフラグの組み合わせ最適化は、AutoTuning（OpenTuner、BOCA等）の領域だったが、LLMによるワンショット推定が競合的な性能を示している。
| 手法 | 探索回数 | 達成性能 | 所要時間 |
|---|---|---|---|
デフォルト -O3 | 1 | ベースライン | 即時 |
| OpenTuner | 100-1000 | +5-15% | 数時間 |
| LLM Compiler FTD | 1 | +3-10% | 数秒 |
| LLM + 反復探索 | 5-10 | +8-15% | 数分 |
ループ最適化
ループタイリング・アンローリング・ベクトル化のパラメータ選択をLLMが推論する。Polyhedral最適化（Pluto等）では表現できない非アフィンループにも対応可能な点が強みである。
研究動向
CorpusとBenchmark
- AnghaBench — 100万件のCコードスニペット。コンパイラ最適化のベンチマークに使用
- CompilerGym — Facebook開発のRL環境。コンパイラ最適化を強化学習問題として定式化
- BenchmarkGame — 言語間パフォーマンス比較のための標準ベンチマーク集
主要論文
- Large Language Models for Compiler Optimization (Meta, 2024) — Code Llama 7B/13Bをコンパイラ最適化に特化
- Learning Compiler Pass Orders (Google, 2023) — Transformerモデルでパスオーダリングを学習
- AlphaCode 2 (DeepMind, 2023) — 競技プログラミングでのコード生成・最適化
課題と限界
- 正確性保証 — LLMの最適化提案がプログラムのセマンティクスを保存する保証がない。形式検証との組み合わせが必須
- スケーラビリティ — 大規模コードベース（100万行超）のIR全体をLLMのコンテキスト窓に収められない
- 再現性 — LLMの非決定性により、同一入力に対して異なる最適化が提案される可能性
- ドメイン特化性 — 汎用コンパイラ最適化より、HPC/組み込み等の特定ドメインでの効果が顕著
FAQ
Q: LLMはコンパイラエンジニアの仕事を奪いますか？
A: 定型的なフラグ調整やベンチマーク最適化は自動化されるが、新しい最適化パスの設計・言語拡張・ランタイム設計はドメイン知識が不可欠で、当面は人間のコンパイラエンジニアが担う。
Q: どのLLMが最もコンパイラ最適化に適していますか？
A: 2026年時点ではMeta LLM Compiler 13Bが専用モデルとして最高性能。汎用モデルではClaude/GPT-4oがコード理解力に優れるが、IR操作の専門性ではLLM Compilerが上回る。
Q: GCCとLLVMのどちらが対象ですか？
A: 現在の研究はLLVM/LLVM-IRが主流。LLVMのモジュラー設計とIRの可読性がLLM学習データとして適しているためである。GCC向けの研究（GIMPLE IRベース）は限定的。