AI Inference Token Throughput/TTFT/TBT 2026（エーアイインファレンス）

概要

AI Inference Token Throughput（TTFT/TBT 2026）は、LLM（大規模言語モデル）推論時の性能を定量化する指標である。TTFT（Time To First Token）は最初のトークン生成までの遅延、TBT（Time Between Tokens）はトークン間の平均遅延、ITL（Inter‑Token Latency）はトークン間の遅延分散を測定する。Token Throughputは秒間生成できるトークン数（tps）で、QPS（Queries Per Second）はクエリ単位での処理速度を示す。E2E LatencyはPrefill＋Decodeを含むエンドツーエンドの遅延。2026年にはSpeculative Decodingが主流となり、2倍近いスループットを実現するケースが増加している。

主な特徴・仕組み

• TTFT：RTX 5090でLlama 3 70B Q4推論時に1.5 s、RTX 5090（Q8）で1.2 s。
• TBT：平均12 ms、AMD Radeon 7900 XTXで15 ms。
• ITL：トークン間遅延の標準偏差が5 ms。
• Token Throughput：RTX 5090で30 tps（Q4）、Speculative Decodingで60 tps。
• QPS：RTX 5090で200クエリ／秒、AMD Radeon 7900 XTXで180クエリ／秒。
• E2E Latency：Prefill+Decodeで0.5 s、全体で1.2 s。
• Continuous Batching：同時に5クエリをバッチ処理、スループットを15 %向上。
• PagedAttention vLLM：メモリ使用量を30 %削減、推論速度を10 %向上。
• Speculative Decoding（2026主流）：推論前に複数候補を生成し、正しいトークンを選択。
• 2025年のトレンド：TTFTを80 %削減するハードウェアアクセラレーションが登場。

スペック比較表

具体例・対応製品

1. NVIDIA RTX 5090 – Llama 3 70B Q4で30 tps、Speculative Decodingで60 tps。
2. AMD Radeon 7900 XTX – 32 GB GDDR6、28 tps、E2E 1.3 s。
3. Intel Arc A770 – 24 GB GDDR6、22 tps、Prefill+Decode 0.6 s。
4. Google TPU v5 – 80 GB/sメモリ帯域、90 tps、QPS 250。
5. Apple M2 Max – 64 GB unified memory、18 tps、E2E 1.5 s。

自作PCでの選び方・注意点

• GPU：TTFT・TBTを重視するならRTX 5090（Q4）またはQ8。メモリ帯域が高いほど大規模モデルのPrefillに有利。
• CPU：Ryzen 9 9950X3D（24コア、3.5 GHzベース、4.9 GHzブースト、128 MB L3）で、データ転送とバッチ処理を高速化。
• メモリ：DDR5‑6000 32 GB（266 MHz）でデータロードを高速化。
• 電源：450 W TDPを超える場合は600 W以上の高効率電源（80 + Gold）。
• 冷却：高負荷時にTBTが増加しやすいので、液体冷却または大型ファン推奨。
• OS/ドライバ：CUDA 12.3、vLLM 0.8、Speculative Decodingライブラリを最新に保つ。
• ソフトウェア：TensorRT‑Opt、ONNX Runtime 1.12で最適化。
• 2026年の動向：Speculative Decodingが標準化され、推論パイプラインに組み込まれる。
• 2025年のトレンド：GPU側のTTFT低減技術が登場し、同時に複数クエリのContinuous Batchingがサポート。
• 注意点：大容量メモリを持つGPUは熱設計が重要。TBTが長くなるとバッチサイズを減らす必要がある。

関連用語との違い

• Latency：一般的に全体遅延を指すが、TTFTは最初のトークン遅延、TBTはトークン間遅延に限定。
• Throughput：総トークン数/秒を示すが、Token Throughputは1クエリあたりの平均値。
• QPS：クエリ単位での処理速度、複数トークンを含む。
• Speculative Decoding：推論前に複数候補を生成し、正解を選択。従来の逐次推論と比較してスループットを倍増。

よくある質問(FAQ)

Q1. TTFTとE2E Latencyの違いは？
A1. TTFTは最初のトークン生成までの時間、E2E LatencyはPrefill＋Decodeを含む全体遅延。TTFTが低いとインタラクティブ性が向上。

Q2. Speculative Decodingを有効にするメリットは？
A2. 2倍近いToken Throughputが得られ、同じハードウェアでより多くのクエリを処理可能。2026年では主流化され、ライブラリが自動で適用。

Q3. Continuous Batchingはどのように設定する？
A3. vLLMやTensorRTでバッチサイズを5〜10に設定し、同時に複数クエリを投入。バッチサイズが大きいほどTBTが短縮されるが、メモリ使用量が増加。

まとめ

AI Inference Token Throughput（TTFT/TBT 2026）は、LLM推論の遅延とスループットを細分化して測定する指標である。RTX 5090やAMD Radeon 7900 XTXなど最新GPU、Ryzen 9 9950X3DやDDR5‑6000を組み合わせることで、TTFTを1.2 s以下、TBTを12 ms以下に抑えつつ、Token Throughputを60 tpsまで伸ばせる。Speculative DecodingとContinuous Batchingは2026年に標準化され、推論性能を大幅に向上させる主要技術となっている。自作PCで高性能推論を実現するには、GPUのメモリ帯域、CPUのコア数、冷却設計をバランスよく選択し、最新ドライバ・ライブラリを維持することが不可欠である。