2472件の用語
Weight-Decomposed Low-Rank Adaptationの略。LoRAを進化させ、事前学習済み重みを「大きさ（magnitude）」と「方向（direction）」に分解して学習する手法。LoRAより学習効率と性能が向上する。
LoRAの改良版PEFT手法。重み行列を「振幅（magnitude）」と「方向（direction）」に分解し、方向成分のみLoRAで更新することでフルファインチューニングに近い学習パターンを実現する。
LoRAを「方向（Direction）」と「大きさ（Magnitude）」に分解して適用するPEFT手法。大きさはスカラーベクトルで更新し、方向成分にLoRAを適用することで、フルファインチューニングに近い学習挙動を実現する。
LoRAをmagnitude（大きさ）とdirection（方向）に分解して学習するPEFT手法。magnitudeベクトルは学習可能、direction成分にLoRAを適用。Liu et al. 2024提案。フルファインチューニングの学習パターンをLoRAより忠実に模倣し、精度を向上させる。
LLMプリトレーニングの高速化技法。複数の短い文書をコンテキスト長いっぱいに連結しバッチ化することで、パディングによるGPU計算の無駄をゼロに近づけ、学習スループットを大幅に向上させる。
アリババが開発したマルチページドキュメント理解マルチモーダルLLM。複数ページにまたがる文書構造を把握し、質問応答・要約・情報抽出を行う。
2024年Chen et al.発表Top-nsigma Sampling paper・Industry-emerging Statistical Sigma threshold sampling paradigm + Industry-leading nsigma=1.0 default + Industry-emerging statistical sampling paradigm Pioneer + Industry-leading reasoning model + low-temperature scenarios advantage + Industry-leading 2024年Industry-emerging Pioneer paradigm。
LLMのデコーディングにおいて、確率上位k個のトークンのみを候補として残し、それ以外を除外した上でサンプリングする手法。kの値で出力の多様性と安全性のトレードオフを制御する。
Sparse MoE アーキテクチャにおいて、ゲーティングネットワークがトークンごとにスコア上位 K 個のエキスパートを選択して活性化するルーティング戦略。K の値がモデルの計算コストと表現力のトレードオフを決定する。
2018年Fan et al. + Holtzman共同発表Top-k Sampling paper・Industry-leading Fixed top-k tokens sampling paradigm + Industry-leading k=40 default + Industry-leading classic LLM sampling Industry-emerging Pioneer paradigm + Industry-leading Top-p同所共通 Holtzman foundation。
LLMのテキスト生成で確率上位k個のトークンのみを候補として残し、それ以外を除外した上でサンプリングする手法。kの値が小さいほど出力は決定的になり、大きいほど多様性が増す。シンプルで計算コストが低い反面、確率分布の形状に適応できない制約がある。
>-
LLMのサンプリング手法の一つで、確率の高いトークンから累積確率がp以上になるまでのトークン集合（nucleus）からのみサンプリングする方式。Top-p=0.9なら上位90%の累積確率に含まれるトークンのみが候補となり、低確率の不自然なトークンを除外できる。
LLMのデコーディングにおいて、確率の高い順にトークンを累積し、累積確率がp（核）に達するまでのトークン集合のみを候補としてサンプリングする手法。Holtzman et al. (2020)が提案し、現在のLLM APIの標準デコーディング手法となっている。
2020年Holtzman et al.発表Top-p Nucleus Sampling paper・Industry-leading Cumulative probability threshold-based sampling paradigm + Industry-leading dynamic vocabulary size + Industry-leading Top-p 0.9 default Industry-standard LLM sampling + Industry-leading Hugging Face + OpenAI Industry-leading dominant sampling method。
2022年Topaz Labs公開Photo AI(Pro Topaz Labs 2005-設立 + Albert Yang Pro CEO主導)。Pro 業界Pro Mainstream Photo AI Upscale Top + Pro Sharpen/Denoise/Upscale統合 + Pro Eric Yang Pro Co-founder + Pro $199 Buyout + Pro Topaz Photo AI 4 + 2025-Pro v4.5 + 累計2005-2025年20年Heritage。
2024年Liu et al. + NVIDIA発表DoRA paper・Industry-leading Weight-Decomposed Low-Rank Adaptation paradigm + Industry-leading magnitude + direction decomposition + Industry-emerging DoRA NVIDIA Pioneer。
NVIDIAが開発するオープンソースの推論サービングプラットフォーム。複数のMLフレームワーク（PyTorch、TensorFlow、TensorRT、ONNX等）のモデルを統一的にデプロイ・管理できる。
GPU専用カスタム計算カーネル。OpenAI Triton 3.2(Python DSL)・CUTLASS 3.8(NVIDIA・C++ Templates)・FlashAttention-3(Tri Dao)・FlashInfer・PagedAttention・Mamba・xformers・Custom kernel fused optimizer・Torch.compile integration・tl.program_id・tl.load/tl.store API、2026年vLLM/SGLang内部実装標準、NVIDIA Hopper/Blackwell向け調整活発。
2021年OpenAI発表Triton Lang・Industry-leading Python DSL for GPU kernel programming・Industry-leading Python embedded DSL + Industry-leading GPU kernel optimization + Industry-leading FlashAttention + vLLM + PyTorch TorchInductor Industry-leading integration + Industry-leading OpenAI Industry-leading AI research foundation・¥Open-source Industry-leading adoption。