Flash Decoding（フラッシュデコーディング）（フラッシュデコーディング）

プレフィル段階:
  計算: Q×K^T のバッチ行列積 → S×S アテンション行列
  演算強度: O(S²) → FlashAttentionが有効（計算バウンド）

デコード段階:
  入力: 新しいトークン1つのみ
  計算: Q×KV_cache^T（キャッシュ全体へのアクセス）
  演算強度: O(S) → メモリバウンド（計算よりメモリ読み出しが支配的）
  → 長文脈ほどGPUコアがメモリ転送を待機して遊ぶ

従来のデコード（非並列）:
  KVキャッシュ[0..S]を逐次読み出し
  → GPU コア使用率: 5-15%（長文脈時）

Flash Decoding:
  KVキャッシュを分割: [0..S/4], [S/4..S/2], [S/2..3S/4], [3S/4..S]
  4つのチャンクを並列計算（4スレッドブロック）
  部分ソフトマックス結果をreduction
  → GPU コア使用率: 60-85%

chunk_i の partial_output = softmax_local(Q K_i^T) V_i
chunk_i の log_sum_exp_i = logsumexp(Q K_i^T)

# 最終集計:
final = sum_i(partial_output_i * exp(log_sum_exp_i)) / sum_i(exp(log_sum_exp_i))
# FlashAttentionと同じonline softmax trickで数値的に正確

改良点:
1. 統合カーネル: プレフィル・デコードを統一処理
2. Flat GEMM最適化: バッチサイズ1のGEMVでテンソルコアを最大活用
3. 非同期ソフトマックス: ソフトマックスとGEMVを重畳

実測改善（H100 / Llama 3 8B / 128Kコンテキスト）:
  FlashAttention-2: 850 tokens/s
  Flash Decoding++: 6,800 tokens/s（8倍向上）

# vLLM（Flash Decoding自動適用）
python -m vllm.entrypoints.openai.api_server \
  --model meta-llama/Meta-Llama-3-8B-Instruct \
  --max-model-len 131072 \
  --port 8000
# 128Kコンテキスト: Flash Decodingが自動有効化

# TensorRT-LLMでの設定
python examples/run.py \
  --engine_dir ./engine \
  --max_output_len 512 \
  --use_flash_decoding True