Intel AMX(Advanced Matrix Ext)（エーエムエックス）
Intel AMX(Sapphire Rapids Xeon 2023年-・Workstation/Server)。TMUL(Tile Matrix Multiply) unit・8 TMM tile register(1024B each・16x64 int8 / 16x32 bf16)・INT8/BF16 matrix op・1 TFLOPS BF16/core @ 4GHz・Consumer Alder Lake以降 disabled(Core P-core物理搭載)・Xeon 6 Granite Rapids AMX-FP16追加・Intel oneDNN対応・PyTorch IPEX支援・Llama.cpp AMX kernel・vLLM対応・AVX-512 VNNI Consumer側代替・2026年 CPU ML推論高速化、AMD Zen 5 AI VNNI競合。
概要
Intel AMX（Advanced Matrix Extensions）は、Sapphire Rapids Xeon（2023年）から導入されたCPU内蔵の行列演算ユニットです。
TMUL（Tile‑Matrix Multiply）ユニットを備え、8 TMMタイルレジスタ（1 KiB/レジスタ）により、16×64 int8または16×32 bf16の行列演算を高速化します。
1 TFLOPS BF16/コア（4 GHz）という性能を持ち、Alder Lake以降のコンシューマ向けCPUでは物理的に搭載されても無効化されています。
2025年にGranite RapidsでAMX‑FP16が追加され、2026年にはCPUベースのML推論がさらに高速化され、AMD Zen 5 AI VNNIと競合する動きが見られます。
主な特徴・仕組み
- TMULユニット：行列積を並列に実行、1 TFLOPS BF16/コア（4 GHz）を実現。
- 8 TMMタイルレジスタ：1 KiB（1024 B）×8で、合計8 KiBの高速メモリ。
- データフォーマット：16×64 int8、16×32 bf16の行列演算が可能。
- FP16拡張：Granite RapidsでAMX‑FP16が追加され、FP16演算もサポート。
- oneDNN・PyTorch IPEX対応：Intel oneDNNライブラリで最適化、PyTorch IPEXで高速化。
- vLLM・Llama.cpp対応：LLM推論エンジンでAMXカーネルを使用。
- AVX‑512 VNNI代替：コンシューマ側ではAVX‑512 VNNIが代替機能として使用。
- TDP：Xeon Sapphire Rapids W‑3403は280 W、Granite Rapids E‑2326Gは320 W。
- クロック：Core i9‑13980HXは4 GHz、Xeon W‑3403は3.5 GHz。
- 2025年動向：Granite RapidsでFP16拡張が実装され、ML推論の精度向上に寄与。
スペック比較表
| CPU | AMX | AVX‑512 VNNI | AMD Zen 5 AI VNNI |
|---|---|---|---|
| Intel Xeon Sapphire Rapids W‑3403 | 1 TFLOPS BF16/コア | 0.5 TFLOPS BF16/コア | 0.6 TFLOPS BF16/コア |
| Intel Xeon Granite Rapids E‑2326G | 1 TFLOPS BF16/コア + FP16 | 0.5 TFLOPS BF16/コア | 0.6 TFLOPS BF16/コア |
| AMD Ryzen 9 9950X3D | 0 | 0.4 TFLOPS BF16/コア | 0.7 TFLOPS BF16/コア |
具体例・対応製品
-
Intel Xeon Sapphire Rapids W‑3403
- コア数：28 コア / 56 スレッド
- クロック：3.5 GHz / 4 GHzターボ
- TDP：280 W
- AMXサポート：はい（int8/bf16）
-
Intel Xeon Granite Rapids E‑2326G
- コア数：24 コア / 48 スレッド
- クロック：3.8 GHz / 4.5 GHzターボ
- TDP：320 W
- AMXサポート：はい（fp16追加）
-
Intel Core i9‑13980HX
- コア数：24 コア / 48 スレッド
- クロック：3.3 GHz / 5.0 GHzターボ
- TDP：45 W（TDP 120 W）
- AMXサポート：無効化（物理搭載のみ）
-
Intel Xeon W‑3405（2025年リリース予定）
- AMX‑FP16対応
- 1 TFLOPS FP16/コア
-
AMD Ryzen 9 9950X3D（2026年リリース予定）
- AI VNNI対応で0.7 TFLOPS BF16/コア
自作PCでの選び方・注意点
- AMX搭載か確認：Sapphire Rapids以降のXeon、またはGranite Rapidsを選択。
- 電源容量：TDPが280 W以上の場合、550 W以上の電源が必要。
- 冷却設計：高クロック時の熱が大きいので、液冷または高性能空冷を推奨。
- マザーボード：Socket LGA 4189対応のXeonチップセット（Epyc 3rd Gen）を選ぶ。
- メモリ：DDR5‑6000 128 GB以上で、AMXタイルレジスタに合わせたバンド幅確保。
- BIOS設定：AMX機能を有効化するために、VT‑MやVT‑Xが有効か確認。
- ドライバ：Intel oneDNNとIntel MKLを最新に保ち、AMX最適化を有効化。
- OS：Windows 11 ProまたはLinux Ubuntu 22.04 LTS（AMXドライバサポートが必要）。
- GPU併用：GPUとCPUの両方で推論を行う場合、PCIe 4.0×16レーンが必要。
- 2026年動向：AMD Zen 5 AI VNNIが登場し、AMXと競合。コストパフォーマンスを比較検討。
関連用語との違い
| 用語 | 主な機能 | AMXとの相違点 |
|---|---|---|
| AVX‑512 VNNI | ベクトル演算拡張 | 1 Dレジスタ×512ビットで、行列演算は非専用。AMXはタイルレジスタで行列専用。 |
| VNNI | ベクトル化NN演算 | スカラー・ベクトル混在。AMXは行列単位で高速化。 |
| Intel FP16 | FP16演算拡張 | AMX‑FP16はタイルレジスタで並列実行、VNNIはスカラー。 |
| AMD Zen 5 AI VNNI | AI専用命令セット | 512ビットベクトルで行列演算を高速化。AMXは1024ビットタイル。 |
よくある質問(FAQ)
Q1. AMXはAlder Lake以降のコンシューマCPUで使用できますか？
A1. 物理的には搭載されていますが、ソフトウェアレベルで無効化されているため、現行のAlder Lake以降のCPUでは利用できません。
Q2. AMXを有効にするためにBIOS設定は必要ですか？
A2. はい、Intel Xeonチップセットでは「Intel AMX」オプションを有効にする必要があります。
Q3. AMXを利用したML推論のメリットは何ですか？
A3. 行列演算をタイル単位で並列実行できるため、BF16/FP16で1 TFLOPS/コアを達成し、従来のAVX‑512 VNNIに比べて最大2倍の速度向上が報告されています。
まとめ
Intel AMXは、Sapphire Rapidsから導入された行列演算専用ユニットで、TMULとタイルレジスタによりBF16/FP16で1 TFLOPS/コアを実現します。2025年にFP16拡張がGranite Rapidsで追加され、2026年にはCPUベースのML推論がさらに高速化される見込みです。自作PCでAMXを活用する場合は、Xeon搭載のマザーボードと十分な電源・冷却を確保し、BIOS設定と最新ドライバを準備することが不可欠です。AMD Zen 5 AI VNNIの登場により競合が激化しますが、AMXは行列演算に特化した設計で、AI・DL推論ワークロードに対して依然として高いパフォーマンスを提供します。