Cerebras Systems が開発した WSE-3（Wafer-Scale Engine 3）は、300mm シリコンウェハー1枚をまるごと使った世界最大の AI チップ。4 兆トランジスタ、90 万コアを搭載し、単一チップで大規模モデルの学習と推論を実行可能。
Cerebras WSE-3（Wafer-Scale Engine 3）は、Cerebras Systems が開発した世界最大の AI プロセッサです。通常の半導体チップは 300mm ウェハーから数百個のダイを切り出して製造しますが、WSE はウェハー 1 枚をまるごと 1 つのチップとして使用するという革新的なアプローチを採用しています。第3世代の WSE-3 は 4 兆トランジスタ、90 万 AI コア、44 GB の SRAM をオンチップに搭載しています。
| 世代 | コア数 | トランジスタ | SRAM | プロセス | リリース年 |
|---|---|---|---|---|---|
| WSE-1 | 400,000 | 1.2 兆 | 18 GB | 16nm | 2019 |
| WSE-2 | 850,000 | 2.6 兆 | 40 GB | 7nm | 2021 |
| WSE-3 | 900,000 | 4 兆 | 44 GB | 5nm | 2024 |
WSE-3 は Cerebras CS-3 システムとして提供されます。
| 項目 | Cerebras CS-3 × 1 | NVIDIA H100 × 64 (DGX) |
|---|---|---|
| 学習ハードル | モデル並列不要 | テンソル/パイプライン並列が必須 |
| 通信ボトルネック | なし（単一チップ） | GPU 間 NVLink/IB 通信がボトルネック |
| ソフトウェア複雑性 | 低い | 高い（Megatron-LM/DeepSpeed 必要） |
| 汎用性 | AI 学習・推論特化 | 汎用 HPC/AI |
| エコシステム | Cerebras SDK 限定 | CUDA エコシステム全体 |
Cerebras の最大の利点は「単一チップ上でモデル全体を処理するためモデル並列が不要」という点です。GPU クラスタでの大規模学習は通信オーバーヘッドとの戦いですが、WSE はこの問題を物理的に解消しています。
Cerebras Inference サービスでは、WSE-3 の並列性を活かした超高速推論を提供しています。
Q1: ウェハー全体をチップにして歩留まりは大丈夫ですか？ A: Cerebras は冗長コアと動的ルーティングの技術で対処しています。ウェハー上の欠陥領域は自動的にバイパスされ、正常なコアのみが使用されます。数千個単位の冗長コアが設計に含まれているため、実用上の問題はありません。
Q2: 価格はいくらですか？ A: CS-3 システムの価格は公表されていませんが、CS-2 が約 200-300 万ドルと報じられていました。ただし Cerebras は「64 台の H100 DGX 構成と同等の学習を 1 台で実行できる」として TCO 優位性を主張しています。
Q3: 一般的な PyTorch コードで使えますか？ A: はい。Cerebras SDK は PyTorch API をラッピングしており、モデル定義は標準的な PyTorch コードで記述可能です。ただし、データローダーやトレーニングループは Cerebras 固有の API を使用する必要があります。