INT4（インティーフォー）
4bit整数量子化フォーマット。FP16比で4倍圧縮・2-3倍推論速度を実現し、LLM（Llama 3 70B・GPT-OSS 20B）のローカル実行で必須。NVIDIA TensorRT-LLMやGGUF Q4_K_M形式で広く利用。
概要
INT4（インティーフォー）は、4ビット整数量子化フォーマットである。
FP16に比べて量子化精度は低下するものの、データサイズが4倍に圧縮され、
推論速度が2〜3倍向上する点が大きな特徴である。
LLM（大規模言語モデル）をローカルで実行する際には、メモリ帯域幅と
計算資源を効率的に活用できるため、必須の技術とされている。
NVIDIA TensorRT‑LLMやGGUF Q4_K_M形式で広く採用され、
2025年には多くのエッジデバイスでの導入が進む見込みである。
主な特徴・仕組み
- 4ビット整数で表現するため、1つの値を1/16単位で近似。
- 量子化時にスケールファクタとゼロポイントを付与し、
低ビット幅でも元の分布をある程度保持。 - FP16に比べてメモリ転送量が4倍削減され、
PCIe 4.0/5.0帯域幅を有効活用。 - INT4はTensorRT‑LLMの推論エンジンで最適化され、
1回の演算で複数の量子化データを同時に処理できる。 - GGUF Q4_K_Mは、キーペア形式で量子化を行い、
低ビット幅でも精度を維持する手法。 - 2026年に予定されている次世代GPUは、
INT4専用演算ユニットを搭載し、さらに高速化を実現。 - 低ビット幅は省電力化にも寄与し、
モバイルAIデバイスでの実行が容易になる。 - 量子化精度を調整するハイパーパラメータが多数存在し、
モデルごとに最適化が必要。 - INT4は、FP32やFP16と比べて浮動小数点演算が不要で、
低レイテンシを実現。 - 4ビットで表現できる値は256個で、
それによりメモリ使用量を大幅に削減。
スペック/製品比較表
| 製品名 | GPU | メモリ | メモリ帯域幅 | TFLOPS | TDP | 主な用途 | 量子化対応 |
|---|---|---|---|---|---|---|---|
| NVIDIA RTX 4090 | 24GB GDDR6X | 24GB | 1,008GB/s | 82 | 450W | デスクトップ | INT4 |
| NVIDIA A100 | 80GB HBM2e | 80GB | 2,000GB/s | 312 | 400W | データセンター | INT4 |
| Intel Core i9‑13980HX | 48MB L3 | - | - | 4.7GHz | 140W | ノートPC | INT4 |
| AMD Ryzen Threadripper PRO 3995WX | 128MB L3 | - | - | 4.5GHz | 280W | ワークステーション | INT4 |
| NVIDIA RTX 4080 | 16GB GDDR6X | 16GB | 716GB/s | 71 | 320W | デスクトップ | INT4 |
注記
① RTX 4090 は 24GB GDDR6X を搭載し、
② A100 は 80GB HBM2e で 2TB/s の帯域幅を持つ。
③ Core i9‑13980HX は 48MB L3 キャッシュを備え、
④ Threadripper PRO 3995WX は 128MB L3 を有し、
⑤ RTX 4080 は 16GB GDDR6X を採用。
具体例・対応製品
- Llama 3 70B：INT4での推論により、
70B パラメータを 4GB で保持し、
1.5秒で質問応答を実行。 - GPT‑OSS 20B：INT4量子化後、
20B パラメータを 1.2GB でロードし、
0.8秒で文生成。 - NVIDIA TensorRT‑LLM：INT4専用演算をサポートし、
2025年にリリース予定の次世代GPUで最大 3倍速度向上。 - GGUF Q4_K_M：量子化精度を 4ビットで保持しつつ、
低ビット幅でも 99% 近似精度を実現。 - Edge AI デバイス：2026年に登場予定の
低消費電力チップは INT4 を標準採用。
自作PCでの選び方・注意点
- GPU のメモリ容量：INT4 で 4倍圧縮されるため、
70B モデルは 4GB で済むが、
さらに大規模モデルを扱う場合は 8GB 以上推奨。 - PCIe バージョン：PCIe 5.0 x16 は 32GB/s 以上の帯域幅を提供し、
INT4 データ転送を高速化。 - CPU のキャッシュサイズ：大きい L3 キャッシュは
量子化データのローカルキャッシュを増やし、
レイテンシを低減。 - 電源ユニット：RTX 4090 は 450W TDP、
A100 は 400W TDP であるため、
550W 以上の電源を推奨。 - 冷却対策：高TDPに対応する水冷または高性能ファン。
- メモリ速度：DDR5-6000 以上の速度を持つメモリは、
INT4 でのデータロードを高速化。 - BIOS 設定：PCIe 5.0 を有効化し、
低レイテンシモードを設定。 - OS とドライバ：最新の NVIDIA ドライバ (525.x 以上) をインストールし、
TensorRT‑LLM のサポートを確認。 - ソフトウェア：Python 3.10 以上、
PyTorch 2.0 以上、
INT4 量子化ライブラリを最新版に保つ。 - 電力管理：電源設定を「高性能」に変更し、
GPU のクロックを最大化。
関連用語との違い
- INT8：8ビット整数量子化。
INT4 より 2 倍の精度を保持するが、
メモリサイズは INT4 の 2 倍。 - FP16：16ビット浮動小数点。
INT4 は整数であるため、
低ビット幅での演算が可能。 - FP32：32ビット浮動小数点。
INT4 と比べて 8 倍のメモリ使用量。 - Q4_K_M：GGUF の 4ビットキーペア量子化。
INT4 と同じビット幅だが、
キーと値を別々に量子化し、
精度を若干向上。 - TensorRT‑LLM：NVIDIA の推論エンジン。
INT4 を専用に最適化し、
低レイテンシ推論を実現。
よくある質問（FAQ）
Q1. INT4 で推論すると精度はどれくらい低下しますか？
A1. モデルやタスクにより差があるが、
Llama 3 70B で INT4 を使用すると、
FP16 と比較して 1% 未満の BLEU スコア低下が報告されている。
Q2. INT4 を利用するために GPU はどの世代が必要ですか？
A2. RTX 30 系列以降の GPU なら、
TensorRT‑LLM で INT4 をサポート。
2025年にリリース予定の RTX 50 系列は、
INT4 専用演算ユニットを搭載予定。
Q3. INT4 を使用した際の電力消費はどう変わりますか？
A3. INT4 は整数演算を多用するため、
浮動小数点演算よりも電力効率が高い。
同一負荷で約 15% 低い TDP が期待できる。
まとめ
INT4 は 4ビット整数量子化により、
メモリ使用量を 4 倍に削減し、
推論速度を 2〜3 倍に向上させる技術である。
2025年に向けてエッジデバイスや
2026年に登場予定の次世代 GPU での採用が加速し、
LLM のローカル実行を現実味のあるものにしている。
自作PCでの構築にあたっては、
GPU のメモリ容量、PCIe バージョン、
CPU のキャッシュサイズ、電源容量、
冷却性能を総合的に検討する必要がある。
INT4 を活用すれば、
高性能 AI 推論を手軽に実現できる環境が整う。