Cerebras WSE-3（セレブラスウェハースケールエンジン）
Cerebras Systems が開発した WSE-3（Wafer-Scale Engine 3）は、300mm シリコンウェハー1枚をまるごと使った世界最大の AI チップ。4 兆トランジスタ、90 万コアを搭載し、単一チップで大規模モデルの学習と推論を実行可能。
Cerebras WSE-3 とは
Cerebras WSE-3（Wafer-Scale Engine 3）は、Cerebras Systems が開発した世界最大の AI プロセッサです。通常の半導体チップは 300mm ウェハーから数百個のダイを切り出して製造しますが、WSE はウェハー 1 枚をまるごと 1 つのチップとして使用するという革新的なアプローチを採用しています。第3世代の WSE-3 は 4 兆トランジスタ、90 万 AI コア、44 GB の SRAM をオンチップに搭載しています。
ウェハースケール技術の革新
- 面積: 46,225 mm²（NVIDIA H100 ダイの約 56 倍）
- トランジスタ数: 4 兆個（H100 の約 50 倍）
- コア数: 900,000 AI 最適化コア
- オンチップ SRAM: 44 GB（HBM 不使用、全メモリがオンチップ）
- メモリ帯域: 21 PB/s（オンチップ SRAM 合計帯域）
- ファブリック帯域: 214 Pb/s のオンチップインターコネクト
- プロセス: TSMC 5nm
- 歩留まり管理: 冗長コアとルーティングにより欠陥ダイ領域を自動迂回
世代別進化
| 世代 | コア数 | トランジスタ | SRAM | プロセス | リリース年 |
|---|---|---|---|---|---|
| WSE-1 | 400,000 | 1.2 兆 | 18 GB | 16nm | 2019 |
| WSE-2 | 850,000 | 2.6 兆 | 40 GB | 7nm | 2021 |
| WSE-3 | 900,000 | 4 兆 | 44 GB | 5nm | 2024 |
CS-3 システム
WSE-3 は Cerebras CS-3 システムとして提供されます。
- CS-3 ユニット: WSE-3 チップ 1 枚を搭載、15U ラックマウント
- MemoryX: 外部メモリモジュール、最大 1.5 PB の重みストレージ（兆パラメータモデル対応）
- SwarmX: 複数 CS-3 ユニットをリニアスケーリングで接続するファブリック技術
- 最大構成: CS-3 × 2,048 台で 24 兆パラメータモデルの学習が可能
NVIDIA GPU クラスタとの違い
| 項目 | Cerebras CS-3 × 1 | NVIDIA H100 × 64 (DGX) |
|---|---|---|
| 学習ハードル | モデル並列不要 | テンソル/パイプライン並列が必須 |
| 通信ボトルネック | なし（単一チップ） | GPU 間 NVLink/IB 通信がボトルネック |
| ソフトウェア複雑性 | 低い | 高い（Megatron-LM/DeepSpeed 必要） |
| 汎用性 | AI 学習・推論特化 | 汎用 HPC/AI |
| エコシステム | Cerebras SDK 限定 | CUDA エコシステム全体 |
Cerebras の最大の利点は「単一チップ上でモデル全体を処理するためモデル並列が不要」という点です。GPU クラスタでの大規模学習は通信オーバーヘッドとの戦いですが、WSE はこの問題を物理的に解消しています。
推論性能
Cerebras Inference サービスでは、WSE-3 の並列性を活かした超高速推論を提供しています。
- Llama 3.1 70B: 2,100 tok/s（GroqCloud の約 8 倍）
- Llama 3.1 8B: 12,000+ tok/s
- TTFT: < 0.05 秒
採用事例
- Mayo Clinic: 医療 AI モデルの学習に WSE-2/CS-2 を採用
- AstraZeneca: 創薬 AI モデルの学習
- Argonne National Laboratory: 科学計算シミュレーション
- GSK: 分子動力学シミュレーション
よくある質問（FAQ）
Q1: ウェハー全体をチップにして歩留まりは大丈夫ですか？ A: Cerebras は冗長コアと動的ルーティングの技術で対処しています。ウェハー上の欠陥領域は自動的にバイパスされ、正常なコアのみが使用されます。数千個単位の冗長コアが設計に含まれているため、実用上の問題はありません。
Q2: 価格はいくらですか？ A: CS-3 システムの価格は公表されていませんが、CS-2 が約 200-300 万ドルと報じられていました。ただし Cerebras は「64 台の H100 DGX 構成と同等の学習を 1 台で実行できる」として TCO 優位性を主張しています。
Q3: 一般的な PyTorch コードで使えますか？ A: はい。Cerebras SDK は PyTorch API をラッピングしており、モデル定義は標準的な PyTorch コードで記述可能です。ただし、データローダーやトレーニングループは Cerebras 固有の API を使用する必要があります。
まとめ
- Cerebras WSE-3 は 300mm ウェハー 1 枚を丸ごと使う世界最大の AI チップ
- 4 兆トランジスタ・90 万コア・44 GB オンチップ SRAM を搭載
- 単一チップ処理でモデル並列不要、通信ボトルネックを物理的に解消
- MemoryX/SwarmX で最大 24 兆パラメータモデルの学習に対応