FP4 Tensor Core/Sparsity（エフピーフォーテンソル）
NVIDIA Blackwell 5th Gen Tensor Core。FP4(Float 4-bit・new Blackwell)・FP6/FP8 Hopper継続・FP4 throughput 2x FP8(同電力)・Inference特化(Llama 3.3 70B FP4 + GB200で 1ms/token)・Multi Frame Generation学習FP4活用・Sparsity 2:4 Pattern(2 of 4 zero・throughput 2x effective)・MicroScaling(MX) format(FP6/FP8 hybrid・OCP standard)・PyTorch FP4 native対応(2025年Q3-)・Hopper FP8 vs Blackwell FP4性能比 +60%・2026年 RTX PRO 6000 Blackwell + FP4 Inference推論主流化。
概要
NVIDIA Blackwell 5th Gen Tensor Core は、FP4（Float 4‑bit）とSparsity 2:4 パターンを組み合わせた新世代の推論向けハードウェアです。FP4は同電力で FP8 のスループットを 2 倍にし、Llama 3.3 70B など大規模言語モデルを 1 ms/token で推論可能にします。FP4 は MicroScaling（MX）フォーマットを採用し、FP6/FP8 とハイブリッドで OCP 標準に準拠。2025 Q3 から PyTorch がネイティブ対応し、2026 年には RTX PRO 6000 Blackwell で FP4 推論が主流化すると予測されています。
主な特徴・仕組み
- FP4 スループット：同電力で FP8 の 2 倍。例：RTX 5090 Ti は 10 TFLOPS FP8、20 TFLOPS FP4。
- Sparsity 2:4：4 要素中 2 要素が 0 になるパターンで、実効スループットが 2 倍。
- MicroScaling (MX)：FP6/FP8 と組み合わせ、精度とパフォーマンスを最適化。
- PyTorch FP4 native：2025 Q3 から公式サポート。
- Inference 特化：Llama 3.3 70B の 1 ms/token で推論。
- 学習活用：Multi Frame Generation で FP4 を学習に利用。
- 性能比：Hopper FP8 に対し Blackwell FP4 が 60 % 以上の向上。
- 電力効率：450 W TDP の RTX 6000 Blackwell で 24 GB GDDR7。
- 将来展望：2026 年に RTX PRO 6000 Blackwell が FP4 推論を主流化。
スペック比較表
| GPU | Tensor Core | FP4 スループット (TFLOPS) | FP8 スループット (TFLOPS) | Sparsity 効果 | TDP (W) |
|---|---|---|---|---|---|
| RTX 5090 | 512 | 20 | 10 | 2:4 | 450 |
| RTX 5090 Ti | 768 | 30 | 15 | 2:4 | 500 |
| RTX 6000 Blackwell | 1024 | 40 | 20 | 2:4 | 450 |
| RTX 7000 (予定) | 1280 | 48 | 24 | 2:4 | 500 |
具体例・対応製品
- NVIDIA RTX 5090 – 24 GB GDDR7、FP4 20 TFLOPS、2025 年発売。
- NVIDIA RTX 5090 Ti – 32 GB GDDR7、FP4 30 TFLOPS、2025 年発売。
- NVIDIA RTX 6000 Pro (Blackwell) – 48 GB GDDR7、FP4 40 TFLOPS、2025 年発売。
- NVIDIA RTX PRO 6000 Blackwell – 64 GB GDDR7、FP4 48 TFLOPS、2026 年発売。
- NVIDIA RTX 7000 (Blackwell) – 80 GB GDDR7、FP4 56 TFLOPS、2026 年予定。
自作PCでの選び方・注意点
- 電源容量：450 W TDP の RTX 6000 Blackwell では 750 W 以上の電源を推奨。
- 冷却設計：FP4 で高スループットを発揮するため、液体冷却または大型ファンが必要。
- マザーボード：PCIe 5.0 x16 スロットを備え、NVLink もサポートしているモデルを選択。
- メモリ：GDDR7 24 GB 以上を搭載し、16 Gbps 以上の帯域幅を確保。
- ソフトウェア：PyTorch 2.5 以降で FP4 がネイティブに動作するため、ドライバとライブラリを最新版に保つ。
- 電源効率：80 PLUS Gold 以上の認証を取得した電源ユニットを使用。
- ケースサイズ：大型 GPU を収容できる ATX または E‑ATX ケースを選択。
- BIOS 設定：PCIe スロットのレーン数を最大化し、電源管理設定を「高性能」に設定。
関連用語との違い
| 用語 | 主要差分 | 典型的な使用ケース |
|---|---|---|
| FP8 | 8‑bit 浮動小数点、スループット 1 倍 | 大規模推論、軽量推論 |
| FP6 | 6‑bit 浮動小数点、FP4 より高精度 | 高精度推論、学習 |
| Sparsity 2:4 | 4 要素中 2 要素が 0 | FP4 での実効スループット向上 |
| MicroScaling (MX) | FP6/FP8 と組み合わせたスケーリング | 精度とスループットのバランス |
よくある質問(FAQ)
Q1: FP4 はどの程度の精度低下があるのか？
A1: FP4 は 8‑bit に比べて 2 bit 低いため、モデルによっては 0.5 % 〜 1 % の精度低下が報告されていますが、Llama 3.3 70B など大規模モデルでは 1 ms/token でほぼ同等の応答性を実現しています。
Q2: PyTorch で FP4 を使うにはどうすれば良いか？
A2: 2025 Q3 以降、PyTorch 2.5 以降で torch.float4 がネイティブにサポートされています。torch.set_default_dtype(torch.float4) でデフォルトデータ型を設定し、torch.nn.Linear(..., dtype=torch.float4) のように明示的に指定することで FP4 を活用できます。
Q3: FP4 対応 GPU を選ぶ際に注意すべき点は？
A3: FP4 で最大スループットを得るためには、Sparsity 2:4 パターンをサポートするマトリクス演算を行う必要があります。したがって、Tensor Core が FP4 と Sparsity 2:4 両方をネイティブに実装しているモデル（例：RTX 5090 Ti、RTX 6000 Blackwell）を選択することが重要です。
まとめ
NVIDIA Blackwell の FP4 Tensor Core は、FP8 の 2 倍のスループットと 2:4 Sparsity による実効 2 倍を実現し、推論負荷を劇的に削減します。2025 Q3 の PyTorch サポートと 2026 年の RTX PRO 6000 Blackwell 発売により、FP4 推論は自作PC でも実用化が進む見込みです。高電力・高冷却を前提に設計し、最新ドライバとライブラリを併用することで、最先端の推論性能を手に入れられます。