NVIDIA FP8/FP4特化推論/訓練エンジン。TE v2.0(2026年)・NVIDIA Hopper(H100)以降搭載・Blackwell(B200)で第2世代拡張・Transformer layerのFP16→FP8/FP4動的キャスト+scaling factor自動調整、PyTorch/Megatron-LM/NeMo統合でLLM学習速度2-4x向上、Rubin GPU継承。
NVIDIA が開発した Transformer Engine（トランスフォーマーエンジン）は、FP8/FP4 専用の推論・訓練エンジンである。
2026年に登場した TE v2.0 は、Hopper（H100）以降の GPU で標準搭載され、Blackwell（B200）で第2世代拡張が実装されている。
Transformer レイヤーの FP16→FP8/FP4 への動的キャストとスケーリングファクタの自動調整により、PyTorch、Megatron‑LM、NeMo などのフレームワークで LLM 学習速度を 2〜4 倍に向上させる。
Rubin GPU の継承により、既存の GPU アーキテクチャとの互換性も保たれている。
| 製品/バージョン | GPU アーキテクチャ | FP8/FP4 性能 | 推論速度 | 訓練速度 | メモリ | クロック | 消費電力 |
|---|---|---|---|---|---|---|---|
| TE v1.0 |
| Hopper (H100) |
| 4.0 TFLOP/s |
| 70 TFLOP/s |
| 3.5 TFLOP/s |
| 32 GB GDDR7 |
| 4.5 GHz |
| 2.0 W |
| TE v2.0 | Hopper (H100) | 4.5 TFLOP/s | 80 TFLOP/s | 4.5 TFLOP/s | 48 GB GDDR7 | 5.0 GHz | 1.5 W |
| Blackwell (B200) | Blackwell | 8.0 TFLOP/s | 90 TFLOP/s | 8.0 TFLOP/s | 64 GB GDDR7 | 5.5 GHz | 1.2 W |
| RTX 5090 | Ada Lovelace | 2.5 TFLOP/s | 50 TFLOP/s | 2.5 TFLOP/s | 24 GB GDDR7 | 4.0 GHz | 2.5 W |
| RTX 4090 | Ada Lovelace | 2.0 TFLOP/s | 45 TFLOP/s | 2.0 TFLOP/s | 24 GB GDDR7 | 3.8 GHz | 2.8 W |
Q1. TE v2.0 はどの GPU で利用できますか？
A1. Hopper（H100）以降で標準搭載。Blackwell（B200）でも拡張版が利用可能。
Q2. FP8/FP4 へのキャストは精度に影響しますか？
A2. 自動スケーリングにより 0.99 以上の精度を維持しつつ、演算量を 4 倍削減。
Q3. 自作 PC で TE を有効にするには何が必要ですか？
A3. CUDA 12.0 以降、NVIDIA ドライバ 525、PyTorch 1.13 以上、Megatron‑LM 2.0 以上をインストール。
Transformer Engine は FP8/FP4 専用で、Hopper 以降の GPU で 80 TFLOP/s 以上の推論性能を実現。
動的キャストと自動スケーリングにより、LLM 学習速度を 2〜4 倍に向上させる。
自作 PC での導入は GPU 世代、メモリ容量、電源容量を十分に検討し、最新のドライバとフレームワークを併用することで最大効果を得られる。
2026年に登場した TE v2.0 は次世代 AI 研究・開発に不可欠な技術であり、2025年以降の AI エコシステムに大きなインパクトを与える。