GPTQ量子化LLMのNVIDIA GPU推論に特化したPythonライブラリ。カスタムCUDAカーネルとEXL2量子化形式で高速・低VRAM推論を実現し、ローカルLLMの推論速度標準として普及。

ExLlamaV2とは？（エックスラマブイツー）意味・特徴をわかりやすく解説

ExLlamaV2 とは

Turboderp（github.com/turboderp）が個人開発しているGPTQ系量子化モデル向け高速推論ライブラリ。初代ExLlama（2023年初期）を大幅に改良したV2は、独自のEXL2量子化形式の導入と最適化されたCUDAカーネルにより、同等VRAMで他の推論エンジンより高速なtokens/secを実現する。

EXL2 量子化形式

EXL2はGPTQの改良版で混合ビット幅量子化をサポート:

重みの重要度をHessian情報でスコアリング
重要な重み → 高ビット（6-8bit）
重要度が低い重み → 低ビット（2-3bit）
全体の平均ビット幅を指定（例: 4.5bpw）

BPW（Bits Per Weight）プリセット

bpw	サイズ比	品質	推奨用途
2.4	1/5.5	低	極限VRAM節約
4.0	1/3.5	中高	バランス型
4.65	1/3.2	高	主流
5.0	1/2.9	非常に高	品質重視
6.0	1/2.4	ほぼFP16	参照

推論速度ベンチマーク

RTX 4090（24GB VRAM）・Llama 3.1 8B:

エンジン	量子化	tokens/sec
llama.cpp (GPU)	Q4_K_M GGUF	140 tok/s
AutoGPTQ	INT4	85 tok/s
ExLlamaV2	EXL2 4.65bpw	200+ tok/s

セットアップ

pip install exllamav2

from exllamav2 import ExLlamaV2, ExLlamaV2Config, ExLlamaV2Cache
from exllamav2.generator import ExLlamaV2DynamicGenerator

config = ExLlamaV2Config("./Llama-3.1-8B-Instruct-4.65bpw-EXL2")
model = ExLlamaV2(config)
cache = ExLlamaV2Cache(model, lazy=True)
model.load_autosplit(cache)

generator = ExLlamaV2DynamicGenerator(model=model, cache=cache)
output = generator.generate(
    prompt="以下の文章を要約してください:",
    max_new_tokens=256,
)
print(output)

よくある質問（FAQ）

Q1: GGUF（llama.cpp）とどちらを使うべき? A: NVIDIA GPU専用でとにかく速度重視 → ExLlamaV2。Mac/CPU/クロスプラットフォーム → llama.cpp/GGUF。vLLMサーバー環境 → AWQ/vLLM。

Q2: EXL2 量子化モデルはどこで入手できる? A: Hugging Face Hubで bartowski が主要モデルのEXL2版を公開している。{モデル名}-{N}bpw-exl2 の命名規則。

Q3: RTX 3090 でも使える? A: 使える。24GB VRAMでLlama 3 8B EXL2なら快適動作。70Bは2枚構成か4.65bpw前後の量子化が必要。

ExLlamaV2（エックスラマブイツー）