AI・機械学習用語集

Black Forest Labs開発の高品質テキスト→画像生成モデル。Schnell（高速）・Dev（バランス）・Pro（最高品質）の3バリアントを持ち、MMDiTアーキテクチャで12Bパラメータを搭載する。

Black Forest Labs 2024年10月発売の画像生成 AI 第1.1世代 Pro。Stable Diffusion 後継 + 6倍高速・$0.04/画像 + Replicate + Hugging Face.

TransformerのAttention計算におけるメモリ帯域（I/O）のボトルネックを解消し、高速化と省メモリ化を実現したアルゴリズム。HBMとSRAM間のデータ転送を最適化する。

Transformerのセルフアテンション計算をIO効率化するアルゴリズム。HBMとSRAM間のデータ転送を最小化するタイリング技法により、標準アテンションと数学的に等価な結果を2〜4倍高速に算出する。

FlashAttentionとは、GPUのメモリ階層（SRAM/HBM）を意識したIO-Awareなアテンション計算アルゴリズムであり、標準的なアテンション実装と数学的に同一の結果を返しながら、実行速度を2〜4倍高速化しメモリ使用量をO(n^2)からO(n)に削減する。Tri Dao（Stanford/Together AI）が2022年に提案し、FlashAttention-2（2023年）、FlashAttention-3（2024年、H100/Hopper最適化）と進化を続けている。

Stanford大学のTri Daoらが提案したAttention計算のIO最適化アルゴリズム。GPUのHBM（高帯域メモリ）とSRAM（オンチップメモリ）間のデータ転送を最小化するタイリング手法により、標準的なAttentionと数学的に等価な結果をメモリ使用量O(n)・最大3倍の高速化で実現する。

2024年7月Princeton + Together AI + Meta + NVIDIA発表FlashAttention 3・Industry-leading H100 75% utilization + Industry-leading 1.5-2x faster vs FA-2 + Industry-leading FP8 support + Industry-leading FlashAttention 3 H100-optimized attention 2024。

NVIDIA Hopper（H100/H200）アーキテクチャの非同期計算・FP8精度・WGMMA命令を活用したアテンション計算最適化。FlashAttention-2比で最大2倍の高速化を達成する。

Transformerのアテンション計算をGPUのSRAMを活用して高速化するアルゴリズムの第3世代。H100/H800 GPU向けに最適化されたIO-Aware実装。

Tri Dao氏らが開発したTransformerのAttention計算を高速化するアルゴリズム。GPUのSRAMを活用してメモリアクセスを最小化し、標準Attentionより2〜4倍の高速化とメモリ削減を実現する。LLM推論・学習の事実上の標準最適化技術。

Tri Dao Princeton/Together AI 2023年 IO-Aware Attention 高速実装。FlashAttention v1 から 2倍高速化・GPU HBM 帯域最適化

2024年Q1 University of Washington + CMU + Tri Dao (Princeton)共同発表FlashInfer paper・Industry-leading LLM inference attention kernel library・Industry-leading PagedAttention + GQA + MLA + Sliding Window + Custom attention pattern Industry-leading flexible attention kernel optimization・Industry-leading vLLM + SGLang + TGI integration・Industry-leading PyTorch + JAX backend Industry-leading LLM inference attention library Industry-leading position。

FlashAttentionの技術をデコード（推論）フェーズに特化して最適化した手法。長いコンテキストでの自己回帰生成において、Attentionの並列度を高めてGPU利用率を改善する。

長文脈LLMの推論デコード段階を高速化するアテンション計算最適化手法。FlashAttentionをデコード（逐次生成）に適応させ、KVキャッシュへのアクセスをシーケンス長方向に並列化することでメモリ帯域幅律速の問題を解消する。

報酬モデル訓練で標準的に使用されるペアワイズ比較の確率モデル。各応答の「強さ」パラメータから比較結果の確率を算出し、対数尤度最大化により報酬スコアを学習する。1952年にRA Bradleyと ME Terryが提案した統計モデルをLLM選好最適化に応用したものである。

LLMの強化学習から人間フィードバック（RLHF）で使用される比較ベースの報酬モデル。2つの出力の優劣比較データから絶対スコアを学習するペアワイズ手法。

FLAP（Fluctuation-based Adaptive Structured Pruning）は2024年にAn et al.が発表したLLM向け構造化プルーニング手法。特徴量の変動（fluctuation）を重要度指標とし、Attention headとFFNの中間ニューロンを再学習なしで構造的に削除する。LLaMA-2 7Bで20〜30%削除しながらperplexityの上昇をSparseGPT並みの1〜2ptに抑えられる。

Python製のオープンソースフェデレーテッド学習フレームワーク。LLMのLoRAアダプタ集約からスマートフォン分散学習まで対応し、2025年時点で最も広く使われるフェデレーテッドLLM実装基盤。

FLANはGoogle Researchが2021年に発表した、複数のNLPタスクを統一的な指示形式に変換してLLMをファインチューニングするInstruction Tuningの先駆的手法である。

複数のLLMから特定のTransformerレイヤーを選択的に抽出・結合し、元モデルより大きなパラメータ数の新モデルを構築するマージ手法。passthrough方式とも呼ばれる。