Groq LPU（グロックエルピーユー）
Groq 社が開発した LPU（Language Processing Unit）は、LLM 推論に特化した ASIC で、業界最速クラスの推論速度を実現する。Llama 3.1 70B で毎秒 250+ トークンの出力速度を達成し、GPU ベースの推論と一線を画す。
Groq LPU とは
Groq LPU（Language Processing Unit）は、Groq 社が LLM 推論に特化して設計した ASIC（特定用途向け集積回路）です。従来の GPU ベース推論と比較して桁違いに高速なトークン生成速度を実現し、2024年の登場以来「世界最速の LLM 推論エンジン」として注目を集めています。Llama 3.1 70B で毎秒 250 トークン以上、Llama 3.1 8B では毎秒 1,200 トークン以上という驚異的な速度を達成しています。
TSP アーキテクチャの革新
- SRAM ベース設計: HBM（High Bandwidth Memory）の代わりに大容量 SRAM をオンチップ搭載。メモリアクセスレイテンシを 10 倍以上削減
- 決定論的実行: 全命令のタイミングがコンパイル時に決定。GPU のような動的スケジューリングが不要で、レイテンシジッタがほぼゼロ
- ストリーミングアーキテクチャ: データがチップ内を一方向に流れる設計。キャッシュミスやメモリストールが発生しない
- ソフトウェア定義ネットワーク: チップ間通信もコンパイラが静的にスケジュール
スペック概要
| 項目 | Groq LPU (GroqChip 1) | NVIDIA H100 | Google TPU v6e |
|---|---|---|---|
| 設計思想 | 推論特化 ASIC | 汎用 GPU | 学習+推論 ASIC |
| メモリ種別 | SRAM | HBM3 | HBM3 |
| INT8 演算 | 750 TOPS | 3,958 TOPS | - |
| 推論速度 (Llama 70B) | ~250 tok/s | ~50-80 tok/s | ~100 tok/s |
| TTFT (Time to First Token) | < 0.1 秒 | 0.3-1.0 秒 | 0.2-0.5 秒 |
| TDP | ~300W | 700W | ~200W |
| 学習対応 | 非対応 | 対応 | 対応 |
GroqCloud API
GroqCloud は Groq のクラウド推論サービスで、OpenAI 互換 REST API を提供します。
対応モデル（2026年時点）:
- Llama 3.3 70B / Llama 3.1 8B / Llama 3.1 70B / Llama 3.1 405B
- Mixtral 8x7B / Mixtral 8x22B
- Gemma 2 9B / Gemma 2 27B
- Whisper Large v3（音声認識）
料金: 入力 $0.05-0.88/100万トークン、出力 $0.08-0.88/100万トークン（モデルにより異なる）
GPU ベース推論との違い
GPU は汎用並列プロセッサとして学習・推論の両方に使えますが、推論時は演算ユニットの利用率が低く（10-30%）、メモリ帯域がボトルネックになります。LPU は推論のみに特化することで、メモリアクセスパターンを完全に最適化し、演算ユニットの利用率を 80% 以上に保ちます。
ただし、LPU は学習には対応しておらず、SRAM 容量の制約から超大規模モデル（405B+）の単一チップ推論には限界があります。
よくある質問（FAQ）
Q1: Groq LPU はモデル学習に使えますか？ A: いいえ。LPU は推論に完全特化した設計で、バックプロパゲーション（勾配計算）には対応していません。学習には GPU や TPU を使用し、学習済みモデルを LPU にデプロイする運用が想定されています。
Q2: GroqCloud の速度は実際にそんなに速いですか？ A: はい。Llama 3.1 8B で実測 1,200+ tok/s、70B で 250+ tok/s が複数の独立ベンチマークで確認されています。TTFT（最初のトークンまでの時間）も 0.1 秒以下と、リアルタイム対話に最適な応答性を実現しています。
Q3: Groq と xAI の Grok は関係ありますか？ A: 無関係です。Groq は 2016年設立の半導体スタートアップ（創業者は元 Google TPU チーム）、Grok は Elon Musk の xAI が開発する LLM です。名前は似ていますが別の企業・製品です。
まとめ
- Groq LPU は LLM 推論特化の ASIC、SRAM ベース設計でメモリボトルネックを解消
- 決定論的実行でレイテンシジッタほぼゼロ、毎秒数百トークンの高速推論
- GroqCloud API で OpenAI 互換インターフェースとして手軽に利用可能
- 学習には非対応、推論専用プロセッサとして GPU/TPU と補完的な位置づけ