AI・機械学習用語集

LLMのデコーディングにおいて、確率の高い順にトークンを累積し、累積確率がp（核）に達するまでのトークン集合のみを候補としてサンプリングする手法。Holtzman et al. (2020)が提案し、現在のLLM APIの標準デコーディング手法となっている。

2020年Holtzman et al.発表Top-p Nucleus Sampling paper・Industry-leading Cumulative probability threshold-based sampling paradigm + Industry-leading dynamic vocabulary size + Industry-leading Top-p 0.9 default Industry-standard LLM sampling + Industry-leading Hugging Face + OpenAI Industry-leading dominant sampling method。

2022年Topaz Labs公開Photo AI(Pro Topaz Labs 2005-設立 + Albert Yang Pro CEO主導)。Pro 業界Pro Mainstream Photo AI Upscale Top + Pro Sharpen/Denoise/Upscale統合 + Pro Eric Yang Pro Co-founder + Pro $199 Buyout + Pro Topaz Photo AI 4 + 2025-Pro v4.5 + 累計2005-2025年20年Heritage。

タスクIDを明示せずに複数の異なるドメインを順次学習する継続学習設定。モデルは推論時にどのドメインのデータか識別せずに全ドメインで高性能を維持することが求められる。

2024年Liu et al. + NVIDIA発表DoRA paper・Industry-leading Weight-Decomposed Low-Rank Adaptation paradigm + Industry-leading magnitude + direction decomposition + Industry-emerging DoRA NVIDIA Pioneer。

NVIDIAが開発するオープンソースの推論サービングプラットフォーム。複数のMLフレームワーク（PyTorch、TensorFlow、TensorRT、ONNX等）のモデルを統一的にデプロイ・管理できる。

GPU専用カスタム計算カーネル。OpenAI Triton 3.2(Python DSL)・CUTLASS 3.8(NVIDIA・C++ Templates)・FlashAttention-3(Tri Dao)・FlashInfer・PagedAttention・Mamba・xformers・Custom kernel fused optimizer・Torch.compile integration・tl.program_id・tl.load/tl.store API、2026年vLLM/SGLang内部実装標準、NVIDIA Hopper/Blackwell向け調整活発。

2021年OpenAI発表Triton Lang・Industry-leading Python DSL for GPU kernel programming・Industry-leading Python embedded DSL + Industry-leading GPU kernel optimization + Industry-leading FlashAttention + vLLM + PyTorch TorchInductor Industry-leading integration + Industry-leading OpenAI Industry-leading AI research foundation・¥Open-source Industry-leading adoption。

投機的デコーディングにおいて、ターゲットモデルに先行して複数トークンの候補を高速生成する小型言語モデル。ターゲットモデルの1/10〜1/100のパラメータ数で、同一のtokenizerを共有し、類似した確率分布を出力することが求められる。蒸留（Knowledge Distillation）で訓練されたモデルが最も高い受理率を達成する。

投機的デコーディングで使用する小型の補助モデル。大型ターゲットモデルの検証前に複数トークンを高速に仮生成する役割を持つ。

LLM推論高速化の基本手法。小型ドラフトモデルが複数トークンを先読み予測し、大型ターゲットモデルが1パスで並行検証・採択することで、ターゲットモデル単独より2〜4倍の高速化を実現する。

ドラフトモデル（Draft Model）は、投機的デコーディングにおいて候補トークン列を高速に生成する小型・軽量モデルである。ターゲットモデルの出力分布を近似することが求められ、モデル蒸留・層スキップ・自己ドラフトなど多様な構築手法が存在する。ドラフトモデルの品質（採択率）と推論コストのバランスが投機的デコーディング全体のスピードアップを決定する最重要因子である。

投機的デコードの基本手法で、小規模なドラフトモデルが高速に複数トークンの仮説を生成し、大規模ターゲットモデルが並列で検証・受容する。大モデルの出力品質を維持しながら2〜4倍の推論高速化を実現する。

Transfer Learningは、人工知能・機械学習分野における重要な概念・技術です。

概要

Transformer は2017年6月Ashish Vaswani・Noam Shazeer・Niki Parmar・Jakob Uszkoreit・Llion Jones・Aidan N. Gomez・Lukasz Kaiser・Illia Polosukhin (Google) が論文「Attention Is All You Need」(NIPS 2017) で発表したニューラルネットアーキでSelf-Attention・Multi-Head Attention・RNN/LSTM 完全排除採用しBERT (2018年Google) ・GPT-1/2/3/4/4o (2018-2024年OpenAI) ・Claude (Anthropic 2023年-) ・Gemini (Google 2023年-) 全現代LLM の祖先となった歴史的論文。

2017年に発表された、RNNを用いずSelf-Attention機構のみでシーケンス処理を行う深層学習アーキテクチャ。現代の生成AI（LLM）における計算基盤となる革新的な技術。

Transformer Architecture。Attention Is All You Need 2017・Self-Attention (Q/K/V Multi-Head)・Decoder-Only (GPT/Llama/Claude)・Encoder-Only (BERT)・Encoder-Decoder (T5・Whisper)・Multi-Head Attention MHA・Multi-Query MQA・Grouped-Query GQA (Llama 3+)・Multi-Head Latent Attention MLA (DeepSeek V3)・RoPE/ALiBi/YaRN Position Encoding・SwiGLU/GeGLU FFN・RMSNorm・¥0 OSS、2026年MLA+Mamba Hybrid主流。

Transformer Architectureは、人工知能・機械学習分野における重要な概念・技術です。

NVIDIA FP8/FP4特化推論/訓練エンジン。TE v2.0(2026年)・NVIDIA Hopper(H100)以降搭載・Blackwell(B200)で第2世代拡張・Transformer layerのFP16→FP8/FP4動的キャスト+scaling factor自動調整、PyTorch/Megatron-LM/NeMo統合でLLM学習速度2-4x向上、Rubin GPU継承。