ニューラルネットワークの計算グラフを解析し、ハードウェア固有の命令列へ変換・最適化することで推論や学習の実行速度を大幅に向上させる技術群の総称。
MLコンパイラ最適化とは、深層学習モデルの計算グラフをハードウェアが効率的に実行できる低レベル命令列へ変換し、演算の融合・メモリ配置の最適化・並列化を自動で行う技術体系である。PyTorch や TensorFlow で記述した高水準の演算定義を、GPU・TPU・NPU などの各種アクセラレータ上で最大性能を引き出す形にコンパイルすることが目的となる。
従来の深層学習フレームワークはインタプリタ方式（Eager Mode）で逐次演算を実行していたが、モデル規模の増大に伴い演算カーネル起動のオーバーヘッドやメモリ帯域のボトルネックが顕著になった。MLコンパイラはこれらの課題を静的解析と動的最適化の両面から解決する。
2024年以降、LLM の推論コスト削減が産業界の最重要課題となり、MLコンパイラ技術は Triton・XLA・TVM・TensorRT といった主要プロジェクトを中心に急速に進化している。
MLコンパイラが適用する最適化は多岐にわたる。代表的な手法を以下に整理する。
複数の連続する演算（例: MatMul → BiasAdd → ReLU）を単一の GPU カーネルにまとめることで、中間テンソルのメモリ読み書きを削減する。LLM の Transformer ブロックでは Attention 演算内の QKV 射影と Softmax を融合する FlashAttention パターンが代表例である。
テンソルのメモリ配置（NCHW / NHWC / ブロック形式）をハードウェアのキャッシュライン幅やベクトル演算ユニット幅に合わせて変換する。NVIDIA GPU では NHWC レイアウトが Tensor Core の利用効率を最大化する。
行列演算をキャッシュに収まるブロック（タイル）に分割し、SIMD/SIMT 命令で並列実行する。タイルサイズの選択はハードウェアの共有メモリ容量と演算スループットに依存する。
定数畳み込み（Constant Folding）、共通部分式除去（CSE）、デッドコード除去など、コンパイラ理論の古典的手法を計算グラフに適用する。
| 最適化手法 | 効果 | 適用レイヤー | 代表ツール |
|---|---|---|---|
| 演算融合 | メモリ帯域削減 30-60% | カーネル | Triton, TensorRT |
| メモリレイアウト最適化 | Tensor Core 利用率向上 | テンソル | XLA, TVM |
| ループタイリング | キャッシュヒット率向上 |
| カーネル |
| TVM, Halide |
| グラフ最適化 | 不要演算除去 | グラフ | ONNX Runtime, XLA |
| 量子化融合 | INT8/FP8 演算活用 | カーネル | TensorRT, ONNX RT |
| 動的シェイプ特殊化 | 分岐除去 | グラフ | torch.compile |
LLM の推論は Prefill（プロンプト処理）と Decode（トークン逐次生成）の二段階からなり、それぞれ異なるボトルネックを持つ。
Prefill は大規模な行列乗算が支配的で、演算律速（Compute-Bound）となる。MLコンパイラは Tensor Core の利用率を最大化するタイリング戦略と、FlashAttention カーネルの自動生成で対応する。Triton を用いた FlashAttention-2 実装は cuBLAS ベースの素朴な実装と比較して 2-3 倍の高速化を達成している。
Decode はトークンごとに KV Cache を参照するメモリ律速（Memory-Bound）処理である。MLコンパイラは KV Cache のメモリアクセスパターンを解析し、PagedAttention のような仮想メモリ管理パターンと組み合わせて帯域利用率を向上させる。
Continuous Batching 環境では動的にバッチサイズが変動する。torch.compile の Dynamic Shapes 対応や TensorRT の動的シェイププロファイルが、再コンパイルなしでの柔軟な推論を可能にしている。
| 項目 | Triton | XLA | TVM | TensorRT | ONNX Runtime |
|---|---|---|---|---|---|
| 開発元 | OpenAI | Apache | NVIDIA | Microsoft | |
| 対象HW | NVIDIA GPU | TPU, GPU, CPU | 汎用 | NVIDIA GPU | 汎用 |
| 入力形式 | Python DSL | HLO IR | Relay/TIR | ONNX/TF | ONNX |
| 自動チューニング | 限定的 | あり | AutoTVM/Ansor | TensorRT Builder | 限定的 |
| 動的シェイプ | 対応 | 制限あり | 対応 | プロファイル方式 | 対応 |
| LLM 最適化 | FlashAttention | PjRt Serving | MLC-LLM | TensorRT-LLM | GenAI |
| ライセンス | MIT | Apache 2.0 | Apache 2.0 | 商用 | MIT |
PyTorch 2.0 で導入された torch.compile は、Python の動的性を保ちつつコンパイラ最適化を適用する画期的なアプローチである。
Python バイトコードを動的にインターセプトし、PyTorch 演算を FX グラフとして捕捉する。Guard 機構により、テンソル形状やデータ型が変化した場合のみ再コンパイルが発生する。
FX グラフを受け取り、GPU 向けには Triton カーネル、CPU 向けには C++/OpenMP コードを自動生成するバックエンド。Triton 言語で記述されたテンプレートカーネルを基に、具体的なテンソル形状に特殊化したコードを出力する。
torch.compile(model, mode="reduce-overhead") は CUDA Graph を活用してカーネル起動オーバーヘッドを削減するTensor Core（FP16/BF16/FP8/INT8）の活用が最重要。Hopper 世代（H100）では TMA（Tensor Memory Accelerator）による非同期データ転送と、Warp Specialization による演算パイプラインの隠蔽が新たな最適化軸となっている。
XLA が唯一の実行パスであり、HLO IR レベルでの最適化が自動適用される。MXU（Matrix Multiply Unit）の 128x128 タイルサイズに合わせた演算分割が性能の鍵となる。
Core ML コンパイラが ONNX や PyTorch モデルを ANE 命令に変換する。帯域幅制約が厳しいため、量子化（INT8/INT4）とモデルサイズ削減が重要。
MLコンパイラ分野は以下の方向で進化が見込まれる。
いいえ、用途が異なります。torch.compile は研究開発や柔軟性を重視する場面に適しており、TensorRT は固定モデルの本番推論で最大性能を引き出す場面に適しています。LLM の推論サービスでは TensorRT-LLM が専用の KV Cache 管理や Continuous Batching 最適化を提供するため、依然として有力な選択肢です。
モデルやハードウェアに依存しますが、一般的に素朴な Eager Mode 実行と比較して 1.5〜4 倍の高速化が期待できます。FlashAttention カーネルの適用だけでも Attention 演算が 2〜3 倍高速化し、メモリ使用量も大幅に削減されます。
はい、NVIDIA GeForce RTX 3000/4000/5000 シリーズでも torch.compile や TensorRT は利用可能です。特に VRAM が限られる環境では、演算融合によるメモリ使用量削減の効果が大きく、より大きなモデルやバッチサイズでの推論が可能になります。RTX 4090 の FP8 Tensor Core を活用するには TensorRT の INT8/FP8 量子化パスが有効です。