AI・機械学習
上級
Groq LPU（グロックエルピーユー）
Groq社製AI推論専用チップ。LPU（Language Processing Unit）アーキテクチャでGPU比最大10倍の低レイテンシ推論を実現し、Llama-3 70Bを毎秒800トークン以上処理する。
0 回閲覧
0 いいね
2026/6/4 更新
関連タグ
LPU
AI推論チップ
Groq
低レイテンシ推論
AI加速器
Groq LPUとは
Groq LPU（Language Processing Unit）は、2016年創業の米国Groq社が開発したAI推論特化型チップ。元Google TPU設計者Jonathan Rossが共同創業者として設計を主導し、汎用GPU（GPGPU）とは根本的に異なるアーキテクチャでLLM推論の低レイテンシを追求している。
LPUアーキテクチャの特徴
| 設計思想 | GPU | Groq LPU |
|---|---|---|
| メモリ構造 | HBM（外部DRAM） | SRAM一体型 |
| 制御方式 | 動的スケジューリング | 決定論的実行（コンパイル時計画） |
| 並列モデル | データ並列＋演算 | 時空間SIMD |
| メモリ帯域 | H100: 3.35TB/s | Groq TSP: 80TB/s |
SRAM一体型設計: GPUはHBM（High Bandwidth Memory）を外付けするためレイテンシが生じるが、LPUはSRAMをチップ内に持ち帯域を最大化する。ただしSRAMはHBMより高コスト・低容量（1チップ230MB）のため、大規模モデルには複数チップが必要。
決定論的実行: 通常のGPUは実行スケジュールを動的に変更するが、LPUはコンパイル時に完全な実行計画を生成（静的スケジューリング）。これにより実行時のジッターが極めて小さく、一定のレイテンシが保証される。
GroqCloud パフォーマンス
2024年の実測ベンチマーク（GroqCloud公式）:
| モデル | スループット（tok/s） | Time to First Token |
|---|---|---|
| Llama-3 70B | 800+ | <200ms |
| Mixtral 8x7B | 480+ | <150ms |
| Llama-3 8B | 1,200+ | <100ms |
比較: NVIDIA H100クラスタのLlama-3 70B推論は一般的に50〜200tok/sのため、スループットで約4〜16倍の差。
ユースケースと制約
適合ユースケース:
- リアルタイムチャット・音声AIアシスタント（レイテンシ最重要）
- 大量同時接続のAPI推論サービス
- プロトタイプ・PoC（GroqCloudは無料枠あり）
制約:
- トレーニング非対応（推論専用）
- 対応モデルはGroqがコンパイル・最適化済みものに限られる（任意モデルを直接デプロイ不可）
- SRAM容量制約から量子化（INT8/FP8）モデルが前提
- 2025年時点でオンプレミス版は未提供（クラウドサービスのみ）
競合比較
| 製品 | 強み | 弱み |
|---|---|---|
| Groq LPU | 超低レイテンシ推論 | トレーニング不可・モデル制限 |
| NVIDIA H100 | 汎用・エコシステム最大 | 電力・コスト高 |
| Cerebras CS-3 | 巨大単一ウェーハ・大規模モデル | 高コスト |
| AWS Trainium2 | AWS統合・コスト効率 | AWS専用 |
2025年の動向
2025年にGroqはGroq-1チップを発表。前世代比でスループット2倍・電力効率40%改善を訴求。企業向けオンプレミス提供の計画も示唆されており、データセンター市場への本格参入が進む。