vLLM PagedAttention（ブイエルエルエム ページドアテンション）

vLLM PagedAttention

概要

PagedAttentionは、2023年にUC Berkeley（Woosuk Kwon, Zhuohan Li, Siyuan Zhuangらによる論文「Efficient Memory Management for Large Language Model Serving with PagedAttention」）で提案されたKVキャッシュ管理技術。オープンソースLLM推論エンジン「vLLM」の中核をなす。

KVキャッシュの問題

LLMの自己回帰生成では、各トークン生成時に過去トークンのKey-Value（KV）キャッシュを保持する必要がある。

従来の問題:

• シーケンス長は事前不明 → 最大長を静的確保 → メモリ浪費
• 連続メモリ確保 → 外部断片化 → GPU利用率60〜80%が無駄
• バッチ内シーケンス長の不均一性 → 短いシーケンスが長いシーケンスを待機

PagedAttentionの仕組み

OSページングとの対比

• 物理ページ → KVキャッシュブロック
• ページテーブル → ブロックテーブル
• プロセス → シーケンス
• ページフォルト → ブロック割り当て

ブロック管理

固定サイズ（デフォルト16トークン/ブロック）のブロックを動的割り当て。ブロックテーブルで論理→物理マッピングを管理。シーケンスは非連続な物理ブロックで格納可能。

Copy-on-Write（CoW）

Parallel Samplingやビームサーチ等で複数シーケンスが同一プレフィックスを持つ場合、同一物理ブロックを参照共有。書き込み時のみCoWで新ブロックを確保。プレフィックス共有シーケンスのメモリ消費を大幅削減。

パフォーマンス

• FasterTransformer比: 約2倍
• HuggingFace TGI比: 約24倍（当初発表時）
• Orca比: 約2〜3倍

vLLMの現在（2025年）

# インストール
pip install vllm

# 基本サービング
vllm serve meta-llama/Llama-3.1-8B-Instruct \
  --gpu-memory-utilization 0.9 \
  --max-model-len 8192 \
  --tensor-parallel-size 1

vLLMはGitHub 40k+スター（2025年）を持つデファクトスタンダードとして、Anyscale、Mistral AI、Meta等の本番環境で採用されている。