AI・機械学習

LoRAを「方向（Direction）」と「大きさ（Magnitude）」に分解して適用するPEFT手法。大きさはスカラーベクトルで更新し、方向成分にLoRAを適用することで、フルファインチューニングに近い学習挙動を実現する。

LoRAをmagnitude（大きさ）とdirection（方向）に分解して学習するPEFT手法。magnitudeベクトルは学習可能、direction成分にLoRAを適用。Liu et al. 2024提案。フルファインチューニングの学習パターンをLoRAより忠実に模倣し、精度を向上させる。

LLMプリトレーニングの高速化技法。複数の短い文書をコンテキスト長いっぱいに連結しバッチ化することで、パディングによるGPU計算の無駄をゼロに近づけ、学習スループットを大幅に向上させる。

アリババが開発したマルチページドキュメント理解マルチモーダルLLM。複数ページにまたがる文書構造を把握し、質問応答・要約・情報抽出を行う。

2024年Chen et al.発表Top-nsigma Sampling paper・Industry-emerging Statistical Sigma threshold sampling paradigm + Industry-leading nsigma=1.0 default + Industry-emerging statistical sampling paradigm Pioneer + Industry-leading reasoning model + low-temperature scenarios advantage + Industry-leading 2024年Industry-emerging Pioneer paradigm。

2018年Fan et al. + Holtzman共同発表Top-k Sampling paper・Industry-leading Fixed top-k tokens sampling paradigm + Industry-leading k=40 default + Industry-leading classic LLM sampling Industry-emerging Pioneer paradigm + Industry-leading Top-p同所共通 Holtzman foundation。

>-

2020年Holtzman et al.発表Top-p Nucleus Sampling paper・Industry-leading Cumulative probability threshold-based sampling paradigm + Industry-leading dynamic vocabulary size + Industry-leading Top-p 0.9 default Industry-standard LLM sampling + Industry-leading Hugging Face + OpenAI Industry-leading dominant sampling method。

2022年Topaz Labs公開Photo AI(Pro Topaz Labs 2005-設立 + Albert Yang Pro CEO主導)。Pro 業界Pro Mainstream Photo AI Upscale Top + Pro Sharpen/Denoise/Upscale統合 + Pro Eric Yang Pro Co-founder + Pro $199 Buyout + Pro Topaz Photo AI 4 + 2025-Pro v4.5 + 累計2005-2025年20年Heritage。

2024年Liu et al. + NVIDIA発表DoRA paper・Industry-leading Weight-Decomposed Low-Rank Adaptation paradigm + Industry-leading magnitude + direction decomposition + Industry-emerging DoRA NVIDIA Pioneer。

GPU専用カスタム計算カーネル。OpenAI Triton 3.2(Python DSL)・CUTLASS 3.8(NVIDIA・C++ Templates)・FlashAttention-3(Tri Dao)・FlashInfer・PagedAttention・Mamba・xformers・Custom kernel fused optimizer・Torch.compile integration・tl.program_id・tl.load/tl.store API、2026年vLLM/SGLang内部実装標準、NVIDIA Hopper/Blackwell向け調整活発。

2021年OpenAI発表Triton Lang・Industry-leading Python DSL for GPU kernel programming・Industry-leading Python embedded DSL + Industry-leading GPU kernel optimization + Industry-leading FlashAttention + vLLM + PyTorch TorchInductor Industry-leading integration + Industry-leading OpenAI Industry-leading AI research foundation・¥Open-source Industry-leading adoption。

Transfer Learningは、人工知能・機械学習分野における重要な概念・技術です。

概要

Transformer は2017年6月Ashish Vaswani・Noam Shazeer・Niki Parmar・Jakob Uszkoreit・Llion Jones・Aidan N. Gomez・Lukasz Kaiser・Illia Polosukhin (Google) が論文「Attention Is All You Need」(NIPS 2017) で発表したニューラルネットアーキでSelf-Attention・Multi-Head Attention・RNN/LSTM 完全排除採用しBERT (2018年Google) ・GPT-1/2/3/4/4o (2018-2024年OpenAI) ・Claude (Anthropic 2023年-) ・Gemini (Google 2023年-) 全現代LLM の祖先となった歴史的論文。

2017年に発表された、RNNを用いずSelf-Attention機構のみでシーケンス処理を行う深層学習アーキテクチャ。現代の生成AI（LLM）における計算基盤となる革新的な技術。

Transformer Architecture。Attention Is All You Need 2017・Self-Attention (Q/K/V Multi-Head)・Decoder-Only (GPT/Llama/Claude)・Encoder-Only (BERT)・Encoder-Decoder (T5・Whisper)・Multi-Head Attention MHA・Multi-Query MQA・Grouped-Query GQA (Llama 3+)・Multi-Head Latent Attention MLA (DeepSeek V3)・RoPE/ALiBi/YaRN Position Encoding・SwiGLU/GeGLU FFN・RMSNorm・¥0 OSS、2026年MLA+Mamba Hybrid主流。

Transformer Architectureは、人工知能・機械学習分野における重要な概念・技術です。

NVIDIA FP8/FP4特化推論/訓練エンジン。TE v2.0(2026年)・NVIDIA Hopper(H100)以降搭載・Blackwell(B200)で第2世代拡張・Transformer layerのFP16→FP8/FP4動的キャスト+scaling factor自動調整、PyTorch/Megatron-LM/NeMo統合でLLM学習速度2-4x向上、Rubin GPU継承。

DreamerV3はGoogle DeepMindが2023年に発表した汎用世界モデルRLエージェントで、単一のハイパーパラメータセットでAtari・DMControl・Minecraft等12種の異なるタスクドメインで同時に人間超えまたは最先端性能を達成した。