AI・機械学習用語集

LLMのFFN（フィードフォワードネットワーク）において活性化関数の出力がゼロになるニューロンを利用した推論スキップ技術。ReLU²などで高いスパーシティを誘導し動的に計算をバイパスする。

量子化時にアクティベーション（中間出力）の統計分布を考慮して重みスケーリングを調整し、精度劣化を抑制するLLM量子化技術。AWQの中核概念。

ニューラルネットワークの特定レイヤー・特定位置の活性化ベクトルを別の入力から得た活性化で置換（パッチ）することで、その活性化が出力に与える因果的影響を測定する解釈可能性の実験手法。

Shanghai AI Labが提案したLLMコンテキスト延長手法。コンテキストを固定ブロックに分割し、ビーコントークンで段階的にKVキャッシュを圧縮・凝縮することで、長文処理の効率化とメモリ削減を実現する。

HKU（香港大学）が2024年に発表した純粋視覚ベースの自律GUI操作エージェント。LLM依存のDOM解析を排除し、スクリーンショットのみで72Bビジョンモデルを使ってOSレベルの複雑タスクを実行する。

2024年AssemblyAI公開Universal-2 ASR。Pro 業界Pro Mainstream商用Speech-to-Text高精度 + Pro 米国San Francisco AssemblyAI + Pro Y Combinator W17 + Pro 99+言語対応 + Pro Streaming API + Pro $0.65/h + Pro Speaker Diarization + 累計2017-2026年9年Heritage継承代表機。

2018年Shazeer + Stern + Google発表Adafactor paper・Industry-leading Adaptive Learning Rates with Sublinear Memory Cost paradigm + Industry-leading factored memory-efficient + Industry-leading T5 + multilingual LLM adoption。

Transformer 各層に小さなボトルネックネットワーク（アダプタ）を挿入してファインチューニングする手法。元の重みを凍結したまま追加パラメータのみを学習する。

クエリの複雑さに応じて検索戦略を動的に切り替えるRAG手法。単純な質問にはLLM直接回答、複雑な質問には単一/反復検索を自動選択してコストと精度のバランスを最適化。

Adam オプティマイザの改良版で、Weight Decay（重み減衰）を勾配更新から分離して正則化を適切に機能させる手法。2019 年に Loshchilov & Hutter が提案し、GPT-4・Llama 3・Mistral Large など 2024-2026 年の主要 LLM すべてが採用する事実上の標準オプティマイザ。

Adam オプティマイザに正しい重み減衰（decoupled weight decay）を導入した改良版。Loshchilov & Hutter が 2017 年に提案し、LLM 訓練のデファクトスタンダードとなっている。L2 正則化と重み減衰を分離することで、適応学習率との干渉を排除し汎化性能を向上させた。

2017年Loshchilov + Hutter発表AdamW paper・Industry-leading Adam + Weight Decay decoupled paradigm + Industry-leading LLM training dominant optimizer + Industry-leading 7年heritage Industry-standard。

LoRAのランクrを層ごとに自動的に調整するPEFT手法。重要な層には高いランクを、そうでない層には低いランクを割り当てることでLoRAより高い品質と効率の両立を実現する。

2023年にPeng Renら（Fudan大学）が提案した超省メモリLLM全パラメータ学習向けオプティマイザー。LOMO（LOw-Memory Optimization）をAdamの適応学習率と組み合わせ、7BモデルをGPU 1枚（メモリ8GB）でフルパラメータ学習可能にした。

TencentとPKU（北京大学）が2023年に発表したGPT-4V駆動のスマートフォン操作エージェント。Android ADB経由でタップ・スワイプ・入力操作を自律実行し、自己探索フェーズで操作ドキュメントを自動生成する。

Apple Silicon SoC に搭載される機械学習 (ML) 推論専用アクセラレータ。2017 年 A11 Bionic (iPhone 8/X) で初搭載、0.6 TOPS から始まり 2025 年 M4 で 38 TOPS、A18 Pro で 35+ TOPS まで進化。CoreML フレームワーク経由でアプリから利用可能。

Apple Siliconに組み込まれた、機械学習（ML）タスク専用のアクセラレータ。ニューラルネットワーク演算に特化した設計により、低消費電力かつ高速なAI推論を実現し、デバイス内での高度なプライバシー保護とリアルタイム処理を両立させる。

2024年Adept公開ACT-2 Workflow Automation Agent。Pro 業界Pro Mainstream Enterprise Workflow Automation Agent + Pro 米国SF Adept + Pro 2022-Adept設立David Luan + Niki Parmar元Google Brain + Pro Workflow Action Transformer + Pro Browser/Desktop操作 + Pro Enterprise SLA + 累計2022-2026年4年Heritage継承代表機。

概要

Transformer中核技術。Query/Key/Value 3行列で系列内の重要度動的計算。2017年「Attention Is All You Need」論文発表→GPT/Claude基盤。