Cerebras CS-3（セレブラスシーエススリー）
2024年Cerebras公開のWafer Scale Engine搭載AI System。CS-3 with WSE-3 chip+900K cores+44GB on-chip SRAM+125PFLOPS+Llama 3.1 405B trainable+Andromeda Cluster。
概要
Cerebras CS-3は2024年3月にCerebras Systemsが発表したWafer Scale Engine 3 (WSE-3)を搭載したAI学習システム単体。1枚の300mmシリコンウェハー全体を1個のチップとして使う独自アーキテクチャは業界唯一で、CS-2(2021)から大幅性能向上を実現。900,000個のAIコア、44GB on-chip SRAM、TSMC N5プロセスで製造され、単一システムで125 PFLOPS BF16の演算性能を持つ。Llama 3.1 405Bパラメータモデルが単一CS-3でフィットし、メモリ転送オーバーヘッドゼロで学習可能。アブダビG42社との共同プロジェクト「Condor Galaxy」の主要構成要素として、Andromeda 2 Cluster(64x CS-3)規模で展開される。NVIDIA H100クラスタ(数千chip)に匹敵する計算能力を、はるかに少ないチップ数で実現する点が最大の特徴。
主な特徴・仕組み
- Wafer Scale Engine 3 (WSE-3): 215×215mm単一シリコン、TSMC N5、4 trillion transistor、業界最大半導体
- AIコア数: 900,000個 Sparse Linear Algebra Compute(SLAC)、CS-2(850K)比+5.9%
- On-chip SRAM: 44GB、メモリ帯域21 PB/s(ペタバイト/秒)、HBMより1000倍高速
- 演算性能: 125 PFLOPS BF16、62.5 PFLOPS FP32、CS-2(7.5 PFLOPS BF16)比17倍
- Memory eXtension (MemoryX): 外部メモリシステム、最大1.2 PBストレージ拡張可能
- Wafer Cluster Service: SwarmX相互接続で64台までCS-3クラスタ化、240 PFLOPS級
- Llama 3.1 405B学習: 単一CS-3でモデルフィット、56秒/iter、H100クラスタ比10倍速
- Cerebras Inference Service: WSE-3を使った推論クラウド、Llama 3.1 70B 2,100 tok/sec、業界最速
- Spark Generation Workload: トレーニングと推論を同一HW上で並走、データセンター効率化
- Condor Galaxy AI Supercomputer: G42との共同建設、9 systems計画、最大36 ExaFLOPS規模
- 電力効率: ピーク23kW/system、Llama学習でNVIDIA cluster比50%電力削減
スペック比較表
| 項目 | CS-3 | CS-2 (前世代) | NVIDIA H100 cluster (32x) | Google TPU v5p pod |
|---|---|---|---|---|
| 演算性能 | 125 PFLOPS BF16 | 7.5 PFLOPS BF16 | ~32 PFLOPS BF16 | 459 PFLOPS BF16 (256x) |
| Cores | 900,000 SLAC | 850,000 SLAC | 528,000 CUDA | 4096 TPU |
| On-chip SRAM | 44GB | 40GB | 等価DDR + HBM 80GB | HBM 95GB |
| Memory帯域 | 21 PB/s | 20 PB/s | 0.107 PB/s (3.35 TB/s×32) | 706 TB/s pod合計 |
| 接続 | SwarmX 64-system | SwarmX 64-system | NVLink 900 GB/s | ICI 3D-Torus |
| 物理サイズ | 1U Rack Server級 | 1U Rack Server級 | 32U+ NVL32 | データセンター規模 |
| 価格(参考) | 数百万USD/system | 数百万USD/system | $1M+ DGX H100 | Cloud-only |
具体例・対応製品
- CS-3 Single System: 価格数百万ドル級、125 PFLOPS BF16、Llama 3.1 405B単独学習可能
- Andromeda 2 Cluster (64x CS-3): 8 ExaFLOPS BF16規模、Cerebras主力データセンター
- Condor Galaxy 1-9 (G42共同): 各CG毎に256x CS-3、最終36 ExaFLOPS規模、UAEに展開
- Cerebras Inference Service: Llama 3.1 70B 2,100 tok/sec、競合(Groq)比2倍速
- 競合機種: NVIDIA H100 cluster(DGX SuperPOD 256 GPU $7M)、Google TPU v5p pod、AWS Trainium2 UltraServer
自作PCでの選び方・注意点
Cerebras CS-3はクラウドサービスまたはエンタープライズ導入のみで、自作PCには搭載不可能(本体サイズ的にも個人購入不可能)。実際の利用方法はCerebras Inference Serviceでの推論API利用、もしくはAWS Marketplace経由でのCondor Galaxy計算時間レンタル。Llama 3.1 70B推論で2,100 tok/secという業界最速性能を$0.60/Mtokensで提供しており、OpenAI GPT-4o($5.00/Mtokens)比で大幅にコスト効率良好。Wafer Scale設計の最大の強みは、メモリ階層の単純化(全44GB SRAMが等距離アクセス可能)で、Transformerモデルの学習で発生する大量のSelf-Attention計算が劇的に高速化される。一方、ソフトウェアエコシステムはPyTorch+Cerebras Software Platform限定で、CUDA代替実装が必要なライブラリ(Triton/Flash Attention等)は移植が遅れる傾向。
関連用語との違い
CS-2との違い: WSE-3チップ採用(WSE-2比+5.9% cores、+10% SRAM、+17倍性能)、TSMC N7→N5プロセス、メモリ階層は同一、外形寸法は同等。CS-2は既存ユーザー継続利用、新規導入はCS-3が標準。 NVIDIA H100 clusterとの違い: H100 cluster(32 GPU=DGX H100)はNVLink+InfiniBandで構成、Trillions of parameter modelで GPU 間通信オーバーヘッドが発生。CS-3は単一ウェハー上で完結、メモリ転送ゼロで学習速度がスケーリングする独自設計。
よくある質問（FAQ）
Q1: Wafer Scale設計の歩留まりは大丈夫？ A: TSMC N5でWSE-3は4 trillion transistorと業界最大だが、Cerebrasの独自Redundancy技術で歩留まり問題を解決。冗長コア配置とFault-tolerant Routingにより、製造欠陥があっても全機能利用可能。歩留まり95%以上と公称。
Q2: Cerebras Inference ServiceとGroqの違いは？ A: Cerebras = Llama 3.1 70B 2,100 tok/sec(WSE-3)、Groq = Llama 3.1 70B 750 tok/sec(LPU)。Cerebrasは大型モデル(70B-405B)で速度優位、Groqは中型(8B-70B)でスループット重視。価格はCerebras $0.60/Mtokens、Groq $0.59/Mtokensと均衡。
Q3: CS-3を購入するには？ A: Cerebras直販+エンタープライズ契約のみ、最低$1.5M/system+保守契約。中小企業はCondor Galaxy計算時間レンタル(時間単位の使用権)が現実的。AWS MarketplaceからもCondor Galaxy利用可能。
まとめ
- Cerebras CS-3 = 2024年3月公開Wafer Scale AI System
- WSE-3 chip(900K cores+44GB SRAM)+125 PFLOPS BF16+TSMC N5
- 単一CS-3でLlama 3.1 405B学習可能、56秒/iter
- Andromeda 2 Cluster(64x)+Condor Galaxy 9 systems計画
- Inference Serviceで業界最速2,100 tok/sec(Llama 70B)