AI・機械学習
上級
BF16（ビーエフジュウロク）
Google Brain開発の16bit浮動小数点（Brain Float）。FP32と同じ指数8bitでレンジ広く、AI学習で安定。NVIDIA H100/B200・TPU v5p・AMD MI300・RDNA 4で標準サポート。
0 回閲覧
0 いいね
2026/4/25 更新
関連タグ
AI学習
TPU
H100
MI300
概要
BF16（ビーエフジュウロク）は、Google Brain が開発した 16 ビット浮動小数点フォーマットである。
- 1 ビット符号、8 ビット指数、7 ビット仮数。
- 指数幅は FP32 と同じ 8 ビットで、指数バイアスは 127。
- 正規化数の最小値は 1.18 × 10⁻³⁸、最大値は 3.40 × 10³⁸。
- 低ビット幅ながら FP32 と同等の指数範囲を持つため、AI 学習時のオーバーフロー・アンダーフローが抑制される。
- 主要 AI ハードウェア（NVIDIA H100/B200、Google TPU v5p、AMD MI300、RDNA 4）で標準サポートされ、トレーニング・推論ともに高い性能を発揮する。
主な特徴・仕組み
BF16 の設計は、AI 学習に最適化された数値表現を実現するために次のような特性を備えている。
- 指数幅の確保：FP32 と同じ指数幅を保持することで、指数範囲の広さを確保。
- 仮数幅の削減：仮数を 7 ビットに抑えることで、データ転送量とメモリ使用量を大幅に削減。
- 高速演算：FP16 と同等のハードウェア単位で演算が可能。
- 精度の安定化：学習時に発生しやすい数値誤差を最小化。
- 互換性：既存の FP32 データとの変換が容易。
BF16 の数値仕様（10 個以上）
| 項目 | 値 |
|---|---|
| 合計ビット数 | 16 |
| 符号ビット | 1 |
| 指数ビット | 8 |
| 仮数ビット | 7 |
| 指数バイアス | 127 |
| 正規化最小値 | 1.18 × 10⁻³⁸ |
| 正規化最大値 | 3.40 × 10³⁸ |
| サブノーマル最小値 | 1.40 × 10⁻⁴⁵ |
| 0 の表現 | 0 |
| 1 の表現 | 1.0 |
スペック/製品比較表
| 製品 | BF16 TFLOPS | メモリ | メモリ帯域 | TDP | 発売年 | 主要用途 |
|---|---|---|---|---|---|---|
| NVIDIA H100 | 640 | 80 GB HBM2e | 3.2 TB/s | 350 W | 2022 | 大規模学習 |
| NVIDIA H200 | 800 | 80 GB HBM2e | 3.2 TB/s | 400 W | 2024 | エッジ推論 |
| Google TPU v5p | 2.5 PFLOPS | 128 GB HBM | 5.0 TB/s | 700 W | 2023 | データセンター |
| AMD MI300 | 640 | 80 GB HBM3 | 4.0 TB/s | 400 W | 2023 | 高性能計算 |
| AMD MI400 | 480 | 64 GB HBM3 | 3.5 TB/s | 350 W | 2024 | AI 推論 |
| Intel Gaudi 2 | 1.5 PFLOPS | 128 GB HBM | 4.5 TB/s | 800 W | 2025 | 大規模トレーニング |
| NVIDIA RTX 4090 | 35 | 24 GB GDDR6X | 1.1 TB/s | 450 W | 2023 | ゲーム + 低負荷学習 |
| AMD Radeon RX 7900 XTX | 25 | 24 GB GDDR6 | 1.0 TB/s | 450 W | 2023 | ゲーム + 低負荷学習 |
具体例・対応製品
- NVIDIA H100：BF16 で 640 TFLOPS、80 GB HBM2e。
- NVIDIA H200：BF16 で 800 TFLOPS、80 GB HBM2e。
- Google TPU v5p：BF16 で 2.5 PFLOPS、128 GB HBM。
- AMD MI300：BF16 で 640 TFLOPS、80 GB HBM3。
- AMD MI400：BF16 で 480 TFLOPS、64 GB HBM3。
- Intel Gaudi 2：BF16 で 1.5 PFLOPS、128 GB HBM。
- NVIDIA RTX 4090：BF16 で 35 TFLOPS、24 GB GDDR6X。
- AMD Radeon RX 7900 XTX：BF16 で 25 TFLOPS、24 GB GDDR6。
自作PCでの選び方・注意点
- 電源容量：BF16 を多用する場合、GPU の TDP が 350 W 以上になることが多い。
- 冷却性能：高い TFLOPS を維持するためには、液冷または高性能空冷が推奨される。
- メモリ帯域：BF16 で学習を行うときは、メモリ帯域が 3 TB/s 以上であることが望ましい。
- マザーボードの PCIe スロット：PCIe 4.0/5.0 x16 をサポートしているスロットを選ぶ。
- CPU の性能：データ転送や前処理に CPU がボトルネックにならないよう、コア数 12 以上を推奨。
- OS とドライバ：BF16 を活用するためには、CUDA 12.0 以降、ROCm 5.0 以降、または TensorFlow 2.10 以降が必要。
- メモリ容量：モデルサイズに応じて 32 GB 以上を確保。
- 将来性：2025年以降にリリース予定の GPU は BF16 を標準サポートしている可能性が高い。
関連用語との違い
- FP32：指数幅 8 ビット、仮数 23 ビット。BF16 は仮数を 7 ビットに短縮し、データ転送量を削減。
- FP16：指数幅 5 ビット、仮数 10 ビット。BF16 は指数幅を FP32 と同じに保ち、指数範囲を広げる。
- INT8：整数表現。BF16 は浮動小数点であり、数値のダイナミクスが大きい。
- TensorFloat-32 (TF32)：NVIDIA の 19 ビットフォーマット。BF16 は 16 ビットで同等の指数範囲を実現。
よくある質問（FAQ）
Q1. BF16 はどのような AI タスクに最適ですか？
A1. 大規模言語モデルや画像生成モデルのトレーニング、推論において、FP32 と同等の精度を保ちながらデータ転送量を削減できるため、最適です。
Q2. BF16 をサポートしていない GPU でも使用できますか？
A2. 可能ですが、FP32 への変換が必要であり、性能は大幅に低下します。
Q3. 2026年にリリース予定の GPU は BF16 を標準サポートしますか？
A3. 次世代の GPU では BF16 を標準サポートするケースが増えており、2026年以降にリリースされる製品は多くが BF16 を搭載しています。
まとめ
BF16 は、AI 学習における数値表現のバランスを最適化したフォーマットであり、主要ハードウェアで標準サポートされている。
- 16 ビットでありながら指数幅を FP32 と同等に保つことで、オーバーフロー・アンダーフローを抑制。
- 低ビット幅により、メモリ帯域と転送量を削減し、同時に高い TFLOPS を実現。
- NVIDIA、AMD、Google、Intel などが 2025年以降にリリースする GPU で BF16 を活用できる。
自作 PC で AI