Intel AMX (Advanced Matrix Extensions)（インテルエーエムエックス）
Intel Sapphire Rapids (Xeon 4th・2023) 搭載の行列専用アクセラレータ。Tile (1024bit×16行) 構造・BF16 / INT8 行列演算、AI推論を加速。
概要
Intel AMX (Advanced Matrix Extensions) はIntel が2020年6月に発表、2023年1月Sapphire Rapids (Xeon 4th Generation) で初実装した行列計算専用ハードウェアアクセラレータ。8つのTILE レジスタ (各1024bit × 16行 = 16KB)・TMUL (Tile Multiply) 命令でBF16 / INT8 大規模行列乗算をハードウェア加速、AI推論ワークロードでXeon 4th Gen を主要競合NVIDIA T4 等GPU相当に押し上げる戦略製品。
Intel AMX 主要仕様
| 項目 | 仕様 |
|---|---|
| Tile レジスタ | 8個 (T0-T7) |
| Tile サイズ | 1024 bit × 16 行 = 16KB |
| 全Tile 容量 | 8 × 16KB = 128KB |
| 対応精度 | BF16・INT8 (Sapphire/Emerald)・FP16 (Granite Rapids) |
| TMUL スループット | 1024 OPS/サイクル (INT8) |
| Tile 設定 | TILECFG レジスタ |
TMUL 命令
主要TMUL 命令 (Tile Multiply):
| 命令 | 機能 |
|---|---|
| TDPBSSD | INT8 dot product (signed×signed) |
| TDPBSUD | INT8 dot product (signed×unsigned) |
| TDPBUSD | INT8 dot product (unsigned×signed) |
| TDPBUUD | INT8 dot product (unsigned×unsigned) |
| TDPBF16PS | BF16 dot product |
| TDPFP16PS | FP16 dot product (Granite Rapids) |
主要対応CPU
| CPU | 年 | AMX |
|---|---|---|
| Sapphire Rapids (Xeon 4th) | 2023-01 | BF16 / INT8 |
| Emerald Rapids (Xeon 5th) | 2023-12 | BF16 / INT8 (改良) |
| Granite Rapids (Xeon 6) | 2024-09 | + FP16 |
| Sierra Forest (E-core Xeon) | 2024-Q2 | 非対応 |
| Clearwater Forest | 2025-2026 | AVX10.2 統合 |
| Diamond Rapids | 2026 | AMX 2.0 (噂) |
AI 推論性能
| ワークロード | Xeon Sapphire AMX | NVIDIA T4 GPU |
|---|---|---|
| BERT-Large (INT8) | 750 sentences/sec | 1100 sentences/sec |
| ResNet-50 (INT8) | 4500 images/sec | 5600 images/sec |
| DLRM (INT8) | 2.5x baseline | 3.0x baseline |
XeonCPU が AI 推論で GPU の50-80%相当性能を達成、CPU側でAI推論オフロード可能化。
設定とプログラミング
// Tile 設定 (16 rows × 64 bytes/row)
struct __tile_config tile_data = {0};
init_tile_config(&tile_data);
_tile_loadconfig(&tile_data);
// Load
_tile_loadd(T0, A, K * sizeof(int8_t));
_tile_loadd(T1, B, N * sizeof(int8_t));
// Multiply: T2 = T0 × T1
_tile_dpbssd(T2, T0, T1);
// Store
_tile_stored(T2, C, N * sizeof(int32_t));
intrinsics で C/C++ 直接記述可能。PyTorch Intel Extension (IPEX)・TensorFlow / ONNX Runtime 等が透過利用。
主要利用ソフト
- PyTorch + Intel Extension (IPEX・oneDNN AMX backend)
- TensorFlow + oneDNN
- ONNX Runtime + oneDNN
- Microsoft DeepSpeed
- BigDL / Analytics Zoo
関連用語との違い
- vs Apple AMX: Intel は公開仕様・Apple は非公開
- vs AVX-512 / AVX10: AMX は行列 / AVX はベクトル
- vs NVIDIA Tensor Core: CPU内 / GPU内
- vs FPGA / NPU: CPU 統合 / 独立アクセラレータ
FAQ
Q1: 消費者向けCore で? A: 非対応。AMX はXeon Sapphire Rapids 以降の限定 (サーバ向け)。Core / Ryzen は通常AVX-512 / AVX10 で行列演算。
Q2: なぜTile レジスタ大型? A: AI推論の行列サイズ (BERT 256×768 等) を一気に処理するため。1命令で16×16 行列乗算可能・キャッシュアクセス削減。
Q3: Granite Rapids でFP16 追加意義? A: AI 学習 / 推論で BF16 + FP16 両方求められる。FP16 は競合NVIDIA H100 / B100 と命令互換性向上。