AI・機械学習

HKU（香港大学）が2024年に発表した純粋視覚ベースの自律GUI操作エージェント。LLM依存のDOM解析を排除し、スクリーンショットのみで72Bビジョンモデルを使ってOSレベルの複雑タスクを実行する。

2024年AssemblyAI公開Universal-2 ASR。Pro 業界Pro Mainstream商用Speech-to-Text高精度 + Pro 米国San Francisco AssemblyAI + Pro Y Combinator W17 + Pro 99+言語対応 + Pro Streaming API + Pro $0.65/h + Pro Speaker Diarization + 累計2017-2026年9年Heritage継承代表機。

2018年Shazeer + Stern + Google発表Adafactor paper・Industry-leading Adaptive Learning Rates with Sublinear Memory Cost paradigm + Industry-leading factored memory-efficient + Industry-leading T5 + multilingual LLM adoption。

Transformer 各層に小さなボトルネックネットワーク（アダプタ）を挿入してファインチューニングする手法。元の重みを凍結したまま追加パラメータのみを学習する。

クエリの複雑さに応じて検索戦略を動的に切り替えるRAG手法。単純な質問にはLLM直接回答、複雑な質問には単一/反復検索を自動選択してコストと精度のバランスを最適化。

2017年Loshchilov + Hutter発表AdamW paper・Industry-leading Adam + Weight Decay decoupled paradigm + Industry-leading LLM training dominant optimizer + Industry-leading 7年heritage Industry-standard。

LoRAのランクrを層ごとに自動的に調整するPEFT手法。重要な層には高いランクを、そうでない層には低いランクを割り当てることでLoRAより高い品質と効率の両立を実現する。

2023年にPeng Renら（Fudan大学）が提案した超省メモリLLM全パラメータ学習向けオプティマイザー。LOMO（LOw-Memory Optimization）をAdamの適応学習率と組み合わせ、7BモデルをGPU 1枚（メモリ8GB）でフルパラメータ学習可能にした。

TencentとPKU（北京大学）が2023年に発表したGPT-4V駆動のスマートフォン操作エージェント。Android ADB経由でタップ・スワイプ・入力操作を自律実行し、自己探索フェーズで操作ドキュメントを自動生成する。

Apple Silicon SoC に搭載される機械学習 (ML) 推論専用アクセラレータ。2017 年 A11 Bionic (iPhone 8/X) で初搭載、0.6 TOPS から始まり 2025 年 M4 で 38 TOPS、A18 Pro で 35+ TOPS まで進化。CoreML フレームワーク経由でアプリから利用可能。

Apple Siliconに組み込まれた、機械学習（ML）タスク専用のアクセラレータ。ニューラルネットワーク演算に特化した設計により、低消費電力かつ高速なAI推論を実現し、デバイス内での高度なプライバシー保護とリアルタイム処理を両立させる。

2024年Adept公開ACT-2 Workflow Automation Agent。Pro 業界Pro Mainstream Enterprise Workflow Automation Agent + Pro 米国SF Adept + Pro 2022-Adept設立David Luan + Niki Parmar元Google Brain + Pro Workflow Action Transformer + Pro Browser/Desktop操作 + Pro Enterprise SLA + 累計2022-2026年4年Heritage継承代表機。

概要

Transformer中核技術。Query/Key/Value 3行列で系列内の重要度動的計算。2017年「Attention Is All You Need」論文発表→GPT/Claude基盤。

Transformerの各Attention Headが担う役割（コピー・検索・位置参照など）をアクティベーション解析で特定する解釈手法。Anthropic・EleutherAIの研究が先行。

Attention Mechanism詳解。Self-Attention (Q/K/V Dot-Product)・Multi-Head MHA (h heads parallel)・Multi-Query MQA (1 KV head・LLaMA-2)・Grouped-Query GQA (n KV heads・Llama 3)・Multi-Head Latent Attention MLA (DeepSeek V3・Low-rank KV Compression)・Sliding Window Attention SWA (Mistral)・Sparse Attention・Sliding+Global (Gemma 3)・Linear Attention (Mamba代替)・Flash Attention 3・¥0 OSS、2026年MLA+Mamba Hybrid主流。

LLM の安全フィルターやアライメントを回避する目的で設計された悪意あるプロンプト入力手法。モデルに有害な出力を誘発させたり、機密情報を漏洩させたりするリスクがある。

2023年発表Adversarial Training LLM Safety・Industry-leading adversarial training LLM safety + Industry-leading R2D2/PAT/safety RLHF + Industry-leading attack augmentation training + Industry-leading robust LLM training。

2023年3月21日Adobe公開Firefly。Pro Adobe生成AI業界出発点 + Pro Commercial Safe Pro Famous + Pro Adobe Stock学習(著作権Safe) + Pro Photoshop/Illustrator/Lightroom統合 + Pro Generative Fill対応 + Pro $9.99-$199 Plan + 2024-Pro Firefly Image 3 + 2025-Pro Firefly Image 4 + 累計2023-2025年2年Heritage。

Adobe 2024年4月発売の画像生成 AI 第3世代。Photoshop/Illustrator/Premiere Pro 統合 + 商用安全・Creative Cloud $9.99/月.