NVIDIA Tensor Core (FP8 / FP4)（テンソルコア）
NVIDIA AI 行列演算専用ハードウェア。Volta V100 (2017) で初導入、第5世代 (Blackwell・FP4対応) で AI 性能爆増、生成AI ブームの心臓部。
概要
NVIDIA Tensor Core は2017年Volta (V100) で初導入されたAI 行列演算専用ハードウェア。FP16 / BF16 / TF32 / FP8 / FP4 等の低精度浮動小数点行列乗算 (Matrix Multiplication-Accumulation・MMA) を1サイクルで実行、AI 学習 / 推論を大幅加速する。生成AI ブーム (2022-) の心臓部技術。
世代別進化
| 世代 | GPU | 年 | 対応精度 |
|---|---|---|---|
| Gen1 | Volta (V100) | 2017 | FP16 (mixed FP32) |
| Gen2 | Turing (T4 / RTX 20) | 2018 | + INT8 / INT4 |
| Gen3 | Ampere (A100 / RTX 30) | 2020 | + TF32 / BF16 / 構造化スパース |
| Gen4 | Hopper (H100 / Ada) | 2022 | + FP8 (E4M3 / E5M2) / Transformer Engine |
| Gen5 | Blackwell (B100 / RTX 50) | 2024 | + FP4 (Microscaling) |
主要GPU AI 性能
| GPU | Tensor 性能 (FP16) | FP8 | FP4 |
|---|---|---|---|
| V100 | 125 TFLOPS | - | - |
| T4 | 65 TFLOPS | - | - |
| A100 | 312 TFLOPS | - | - |
| H100 SXM5 | 989 TFLOPS | 3,958 | - |
| H200 | 989 TFLOPS | 3,958 | - |
| B100 / B200 | 1,800 TFLOPS | 9,000 | 18,000 |
| GB200 NVL72 (72×B200) | 1.4 PFLOPS | 7 PFLOPS | 14 PFLOPS |
| RTX 4090 | 660 TFLOPS | 1,321 | - |
| RTX 5090 | 1,676 TFLOPS | 3,352 | 6,704 |
FP8 / FP4 量子化
- FP8 E4M3: 指数4bit + 仮数3bit (前向き伝播)
- FP8 E5M2: 指数5bit + 仮数2bit (勾配計算)
- FP4: 指数2bit + 仮数1bit (Microscaling・ブロック単位スケール)
- 大規模言語モデル (LLM) でも精度劣化最小化
Transformer Engine (Hopper)
H100 Tensor Core Gen4 ではTransformer Engine を統合、Attention 演算を FP8 自動量子化で 4-9倍高速化。GPT-3 175B 学習・推論時間を大幅短縮、生成AI ブームの技術基盤。
DLSS / Frame Generation
NVIDIA DLSS (Deep Learning Super Sampling) と Frame Generation はTensor Core 使用。低解像描画 → AI 高解像化、AI 中間フレーム生成等で実効FPS 2-4倍向上。
関連用語との違い
- vs AMD WMMA: AMD CDNA / RDNA3 行列加速・Tensor Core より少し低密度
- vs Intel XMX: Intel Arc / Gaudi 行列演算ユニット
FAQ
Q1: なぜFP8 / FP4 が革新的? A: 同じTensor Core 物理面積でFP16比2倍 (FP8) / 4倍 (FP4) のスループット・メモリ帯域要求も削減。
Q2: 精度問題ない? A: 部分的にあり。LLM 量子化研究で対策、推論時はFP8 / FP4 で精度損失 < 1% を達成可能。
Q3: 個人GPUで使える? A: 可能。RTX 4090 / 5090 はFP8 / FP4 Tensor Core 搭載、LLM ローカル推論で実用化。