NVIDIA Hopper アーキテクチャ (2022年)（エヌビディアホッパー）
NVIDIA Hopperは2022年3月NVIDIA発表のGH100 GPU (Tesla H100) で展開されたデータセンタ AI 専用アーキでTSMC 4N (4nm enhanced) 採用・FP8 Tensor Core・Transformer Engine・HBM3 メモリ採用しLLM 時代のAI クラスタ標準GPU となった。
NVIDIA Hopper アーキテクチャ (2022年)
概要
NVIDIA Hopperは2022年3月22日NVIDIA発表のGH100 GPU (Tesla H100・データセンタ AI 専用) で展開されたアーキでTSMC 4N (4nm enhanced・NVIDIA カスタム) 採用・第4世代Tensor Core (FP8 対応・FP16 比2倍速) ・Transformer Engine (Mixed Precision FP8/FP16 動的切替) ・HBM3 メモリ (80GB・3.35 TB/s) ・NVLink 4.0 (900 GB/s) ・PCIe Gen5 採用しLLM (大規模言語モデル) 時代のAI クラスタ標準GPU となった。H100 SXM5 (80GB HBM3・700W $30,000-40,000) ・H100 PCIe (80GB・350W) ・H200 (2024年・141GB HBM3e・600W) ラインナップでOpenAI GPT-4o/Anthropic Claude 3/Google Gemini/Meta Llama 3 等の学習基盤として2023-2025年AI 革命を支えた。民生 GeForce GPU 不在・Ada Lovelace (RTX 40 シリーズ・2022年9月) が民生展開担当。Blackwell (2024) へ世代交代。
主な特徴・仕組み
- 発表: 2022年3月22日NVIDIA・コードネーム「GH100」(Hopper・Grace Hopper 由来)
- アーキテクチャ: SM 改良 (128 CC/SM 継承+第4世代Tensor Core 4基/SM)
- CUDA Core: 16896 (H100 SXM5・132 SM×128) ・14592 (H100 PCIe)
- Tensor Core: 528 (H100 SXM5・132 SM×4・4th gen)
- L2 キャッシュ: 50MB (A100 40MB から増・大規模AI モデル最適化)
- メモリ: 80GB HBM3 (H100) ・141GB HBM3e (H200 2024年)
- メモリ帯域: 3.35 TB/s (H100 HBM3) ・4.8 TB/s (H200 HBM3e)
- NVLink: 4.0 (900 GB/s/GPU・第4世代)
- NVSwitch: 第3世代・900 GB/s・最大256 GPU クラスタ可能
- PCIe: Gen5×16 (128 GB/s)
- DirectX: DirectX 12 Ultimate (民生展開なし)
- CUDA Compute: 9.0
- TDP: 700W (H100 SXM5・Tesla 史上最高) ・350W (H100 PCIe)
- プロセス: TSMC 4N (4nm class・NVIDIA カスタム N4P 派生)
- トランジスタ: 800億 (Ampere A100 542億から+48%)
- 発売価格: H100 SXM5 $30,000-40,000・H100 PCIe $25,000-30,000・H200 $40,000-50,000 (2024年)
Hopper 製品ラインナップ
| GPU | 年 | 形態 | CC | Tensor Core | メモリ | TDP | 価格 |
|---|---|---|---|---|---|---|---|
| H100 SXM5 | 2022 | SXM5 | 16896 | 528 | 80GB HBM3 | 700W | $30,000-40,000 |
| H100 PCIe | 2022 | PCIe Gen5 | 14592 | 456 | 80GB HBM2e (初期) /80GB HBM3 | 350W | $25,000-30,000 |
| H100 NVL | 2023 | デュアル PCIe | 14592×2 | 456×2 | 188GB HBM3 (94GB×2) | 700W | $58,000 |
| H200 SXM5 | 2024 | SXM5 | 16896 | 528 | 141GB HBM3e | 700W | $40,000-50,000 |
| H200 NVL | 2024 | PCIe | 16896 | 528 | 141GB HBM3e | 600W | $45,000 |
| GH200 Grace Hopper | 2023 | Custom SXM | 16896 (H100) | 528 | 96GB HBM3+480GB LPDDR5X | 1000W | $40,000-60,000 |
第4世代Tensor Core (FP8 対応)
2022年Hopper で世界初FP8 対応:
- データ型: FP32/TF32/FP16/BF16/INT8/INT4 (Ampere 同等) +FP8 (新規・E4M3/E5M2 2形式)
- 理論性能: FP8 で4000 TFLOPS (H100 SXM5・FP16 比2倍)
- 応用: LLM 推論最適化・Transformer モデル高速化
- 後継: Blackwell (2024) でFP4 対応・更に2倍速
Transformer Engine 革新
2022年Hopper で初導入・LLM 専用最適化:
- 動作: FP8 と FP16 を動的に切り替え・精度確保しつつ高速化
- 対象: BERT/GPT/T5/PaLM/Llama 等のTransformer アーキ全般
- 性能向上: GPT-3 175B パラメータ学習で A100 比 6 倍速
- 対応ソフト: TensorFlow/PyTorch/Megatron-LM/NVIDIA NeMo
- 後継: Blackwell Transformer Engine 2 (FP4 対応・更に2倍速)
HBM3 メモリ採用 (2022年世界初)
2022年Hopper で世界初HBM3 採用:
- 転送速度: 6.4 Gbps/pin (HBM2e 3.6 Gbps の1.78倍)
- 帯域: 3.35 TB/s (H100 5スタック) ・A100 HBM2e 2 TB/s の1.68倍
- 容量: 80GB (H100) ・141GB (H200 HBM3e 2024年)
- 後継: HBM3e (2024 H200) ・HBM4 (Blackwell 2024)
NVLink 4.0 + NVSwitch 革新
GPU↔GPU クラスタリングの究極形:
- NVLink 4.0: 900 GB/s/GPU (NVLink 3.0 600 GB/s から1.5倍)
- NVSwitch (3rd gen): 7.2 TB/s合計帯域
- DGX H100: H100×8基+NVSwitch×4基・$370,000-470,000
- DGX SuperPOD H100: DGX H100×32基連結・最大256 GPU クラスタ
- 採用: OpenAI/Anthropic/Microsoft Azure/AWS/Google Cloud 等
採用ハイパースケーラー (2023-2025年)
- OpenAI: ChatGPT-4o/GPT-4 学習基盤・10,000+ H100 クラスタ規模
- Anthropic: Claude 3 (Opus/Sonnet/Haiku) 学習・5,000+ H100 規模
- Google Cloud: Gemini 1.5/2.0 学習・A3 instance (H100×8基)
- Microsoft Azure: NDv5 (H100×8基) ・OpenAI 提携クラスタ
- AWS: P5 instance (H100×8基) ・Trainium と並走
- Meta: Llama 3 (8B/70B/405B) 学習・24,576 H100 GPU クラスタ
- xAI Grok: Colossus データセンタ 100,000+ H100 (2024年世界最大単一)
H200 改良 (2024年)
2024年H100 後継・HBM3e 採用:
- メモリ容量: 80GB → 141GB (76%増)
- メモリ帯域: 3.35 TB/s → 4.8 TB/s (43%増)
- AI 推論性能: Llama 70B 推論で H100 比 2倍速
- 採用: Microsoft Azure NDH200v5 (2024年Q3) ・AWS P5e (2024年Q4)
Grace Hopper 統合 (GH200)
2023年NVIDIA Grace ARM CPU+H100 GPU 統合:
- 構成: Grace ARM Neoverse V2×72コア+H100 GPU+96GB HBM3+480GB LPDDR5X
- NVLink-C2C: CPU↔GPU 900 GB/s 直結 (PCIe Gen5 128 GB/s の7倍)
- 用途: LLM 推論・データセンタ・スーパーコン
- 採用: 米国Argonne National Lab Aurora・ETH Zürich Alps スーパーコン
関連技術との違い
| 項目 | Ampere A100 (2020) | Hopper H100 (2022) | Blackwell B100/B200 (2024) |
|---|---|---|---|
| プロセス | TSMC 7nm | TSMC 4N (4nm) | TSMC N4P (4nm 改良) |
| Tensor Core | 3rd gen (TF32/BF16) | **4th gen (FP8 追加) ** | 5th gen (FP4 追加) |
| Transformer Engine | なし | **あり (FP8/FP16 動的) ** | あり (FP4/FP6/FP8) |
| メモリ | 40-80GB HBM2e | 80-141GB HBM3/HBM3e | 192GB HBM3e (B200) |
| メモリ帯域 | 2 TB/s | 3.35-4.8 TB/s | 8 TB/s (B200) |
| TDP | 400W (A100 SXM4) | **700W (H100 SXM5) ** | 1200W (B200) |
| トランジスタ | 542億 | 800億 | 2080億 (B200) |
よくある質問 (FAQ)
Q1: H100 の価格はなぜ高いか？ A: (1) TSMC 4N 最先端ノード製造コスト・ (2) HBM3 80GB の高コスト (HBM3 1GB あたり $50-80) ・ (3) 800億トランジスタ大型ダイ歩留り低 (歩留率推定50-60%) ・ (4) AI 需要爆発で需給逼迫 (2023-2024年6ヶ月待ち普通) ・ (5) NVIDIA の独占市場で利益率 70%+ ・全要因で$30,000-40,000の高価格。
Q2: H100 と H200 の違いは？ A: GPU コアは同一 (GH100)・H200 はHBM3e メモリ採用で141GB (H100 80GB) ・帯域 4.8 TB/s (H100 3.35 TB/s) 。LLM 推論で2倍性能 (大容量メモリで大型モデル全体ロード可能) 。H100 学習・H200 推論最適化と棲み分け。
Q3: 民生Hopper GPU は出るか？ A: NVIDIA 公式に「出ない」回答・Hopper はデータセンタ専用設計 (HBM3・NVLink 4.0・FP64 完全実装等プロ用途向き) 。民生は Ada Lovelace (RTX 40 シリーズ 2022) ・Blackwell (RTX 50 シリーズ 2025) で別系統展開。
まとめ
- 2022年NVIDIA発表・GH100 (Tesla H100)
- TSMC 4N・第4世代Tensor Core (FP8 対応)
- Transformer Engine・HBM3 80GB
- H100 SXM5 700W $30,000-40,000
- OpenAI GPT-4o/Claude 3/Gemini 学習基盤