Token/sec (TPS・LLM推論性能指標)（トークンパーセック）
LLMの推論速度を測る指標。1秒間に処理・生成されるトークン数を表し、入力（Prefill）と出力（Generation）の両側面からモデルの応答性能を評価する。
概要
Token/sec (TPS) は、LLMが1秒間に何個のトークンを処理または生成できるかを示す指標である。現代の推論プロセスは「Prefill（プリフィル）」と「Generation（ジェネレーション）」という2つの異なるフェーズに分かれており、それぞれが異なる計算特性を持つ。
- Prefill TPS: 入力プロンプトを一度に処理する速度。Time to First Token (TTFT) に直結し、ユーザーが最初の文字を目にするまでの待ち時間に影響する。
- Generation TPS: 生成されたトークンを逐次的に出力する速度。Inter-Token Latency (ITL) と関連し、文章が流れるような滑らかさを決定づける。
推論性能の構成要素と指標
| フェーズ | 依存する計算特性 | 主要なユーザー体験指標 | 負荷の種類 | | :---rypt | :--- | :--- | :--- | | Prefill | Compute-bound (演算主導) | TTFT (Time to First Token) | 入力コンテキスト長に依存 | | Generation | Memory-bandwidth bound (帯域主導) | ITL (Inter-Token Latency) | 出力トークン数に依存 |
ハードウェア別 推論性能ベンチマーク例
最新の推論アクセラレータにおける、代表的なモデル（Llama 3.1 70Bクラス）でのパフォーマンス特性。
- NVIDIA H100 (80GB): 量子化(INT4)利用時、シングルユーザーで30-50 TPS程度。バッチサイズを128まで拡張すると1500-2500 TPSに達し、高スループットなサーバー用途に適する。
- NVIDIA H200 (141GB): 大容量HBM3eにより、Llama 405Bのような超巨大モデルのFP8推論でも35-50 TPSを維持可能。
- Groq LPU: 推論特化型アーキテクチャにより、70Bクラスで280 TPSという圧倒的なシングルストリーム速度を実現。
- Cerebras CS-3: Wafer-Scale Engineによるメモリ帯域の極大化により、450-600 TPSという驚異的な生成速度を記録。
アーキテクチャ比較
| 方式 | 特徴 | 強み | 弱点 |
|---|---|---|---|
| GPU (H100/H200) | 高い汎用性と並列演算能力 | 大規模バッチ処理による高スループット | メモリ帯域がボトルネックになりやすい |
| LPU (Groq等) | SRAMを用いた決定論的実行 | 極めて低いITLと高速な生成速度 | モデルサイズによるメモリ容量の制約 |
| WSE (Cerebras等) | ウェーハスケールでの巨大チップ | 圧倒的な帯域幅と超低遅延 | コストとインフラの特殊性 |
関連用語との違い
- TPS vs TTFT: TPSは「流れる速度」であり、TTFTは「動き出すまでの待ち時間」である。
- TPS vs Throughput: TPSはトークン単位の速度だが、Throughput（スループット）はシステム全体が単位時間あたりに処理する総トークン数（Batch × TPS）を指す。
- TPS vs FLOPS: FLOPSは演算能力（理論値）であり、TPSは実際のデータ転送やメモリ待ちを含んだ実効性能である。
FAQ
Q1: なぜバッチサイズを上げると全体のTPSが増えるのですか？ A: GPU等の並列演算器において、一度のメモリ読み出しで複数のリクエストの計算を同時に行うことで、メモリ帯域の利用効率が向上するためです。ただし、個々のユーザーのITLは悪化する傾向にあります。
Q2: 2025年以降の推論技術のトレンドは何ですか？ A: MLPerf Inference v4.1等の標準化が進み、単なる生成速度だけでなく、MixtralのようなMoE（Mixture of Experts）モデルにおける「計算効率」と「メモリ帯域」の両立が、ベンチマークの主戦場となっています。
Q3: 量子化（Quantization）はTPSにどう影響しますか？ A: FP16からINT4等へ量子化することで、メモリ使用量が削減され、メモリ帯域への負荷が軽減されます。その結果、GenerationフェーズのTPSは大幅に向上します。