TensorRT-LLM（テンソールティーエルエム）
NVIDIAが開発したLLM推論特化のオープンソースライブラリ。FP8/INT4量子化・In-Flight Batching・FlashAttention統合・Tensor Parallelism等を組み合わせ、A100/H100 GPU上でHuggingFace Transformersより4〜8倍の推論スループットを実現する本番環境向け推論エンジン。
TensorRT-LLM とは
TensorRT-LLM（テンソールティーエルエム）はNVIDIAが2023年9月にオープンソース（Apache 2.0）で公開したLLM推論特化ライブラリ。NVIDIA TensorRTを基盤として、Transformer/LLMアーキテクチャに特化した最適化を集約し、A100・H100・L40S等のNVIDIA GPUで最高スループット・最低レイテンシの推論を実現する。
主要最適化技術
In-Flight Batching（連続バッチ処理）
従来の静的バッチ（全リクエストが同時終了を待つ）と異なり、生成が完了したシーケンスを即座に新リクエストで置き換える動的バッチ管理。GPU利用率を最大化し、スループットを2〜3倍向上させる。
量子化サポート
- FP8（H100専用）: 精度損失最小で2倍以上の演算スループット
- INT8 SmoothQuant: 活性化の外れ値問題を解決した高精度INT8
- INT4 AWQ/GPTQ: 4bitモデル圧縮で低VRAM環境をサポート
- FP16/BF16: 標準精度（デフォルト）
Tensor Parallelism & Pipeline Parallelism
複数GPU・複数ノードへのモデル分散をtp_size・pp_sizeパラメータで設定。LLaMA 3 70Bなら4×A100での推論が標準構成。
KV Cache管理
FP8 KV Cacheオプションでキャッシュメモリを半減。長コンテキスト処理時のVRAM節約に有効。
対応モデル（2025年6月時点）
- Llama 3 / Llama 3.1 / Llama 3.2
- Mistral / Mixtral（MoE対応）
- Gemma 2 / Gemma 3
- GPTアーキテクチャ群（GPT-J/NeoX/Falcon）
- Qwen2 / Qwen2.5
- DeepSeek-V2/V3（MLA Attention対応）
- Phi-3 / Phi-3.5
パフォーマンスベンチマーク（A100 80GB）
- Llama 3 8B: HuggingFace比 約4.5倍スループット向上
- Llama 3 70B（4×A100）: HuggingFace比 約6倍
- FP8 on H100: FP16比 約2倍のToken/sec
NVIDIA Triton Inference Server統合
TensorRT-LLMはTriton Inference Serverのバックエンドとして機能し、HTTP/gRPCエンドポイントを自動生成。OpenAI互換API・動的バッチ設定・モデルアンサンブルなどエンタープライズ機能を提供。
vLLMとの比較
- TensorRT-LLM: NVIDIA GPU特化・最高スループット・複雑なセットアップ・エンタープライズ向け
- vLLM: マルチバックエンド（NVIDIA/AMD/CPU）・簡単セットアップ・研究・プロトタイプ向け
まとめ
TensorRT-LLMはNVIDIA GPU本番環境での最高性能を求める場合の第一選択肢。初期設定のコストは高いが、一度構築すれば最大スループット・最低コストのLLM推論インフラを実現できる。大量トラフィックが見込まれる商用APIサービスにおいて、vLLMから移行するケースも増えている。