AI・機械学習用語集

AI生成の偽映像/音声。Sora 2・Runway Gen-4・HeyGen・Veed.ioが代表生成ツール、Intel FakeCatcher・Microsoft Video Authenticator等の検出技術も進化、2026年は電子透かし法制化。

2010年Demis Hassabis + Shane Legg + Mustafa Suleyman共同創業DeepMind。英国London + 2014-01 Google $500M買収Pro Famous + AlphaGo 2016 Pro Famous + AlphaFold 2018/2020 + Gemini 2023-12 + Pro Mainstream AI Lab業界Top独占代表機。

AlexNet は2012年9月Alex Krizhevsky・Ilya Sutskever・Geoffrey Hinton (University of Toronto) が発表したCNN モデルで ImageNet Large Scale Visual Recognition Challenge (ILSVRC) で Top-5 Error 15.3% (前年26.2% から大幅改善) ・NVIDIA GTX 580 GPU×2 で1週間学習採用しDeep Learning 時代の幕開けとなった歴史的論文・現代AI 革命の起点。

概要

Deep Learning Trinity 2018 Turing Award (差別化: 既存ML史と異なり研究者個人軸)。Geoffrey Hinton 1947生 Edinburgh→Toronto Univ「Backpropagation」1986 Rumelhart+Williams共著 Nature掲載+Restricted Boltzmann Machines RBM+Deep Belief Networks DBN 2006・AlexNet 2012 (Alex Krizhevsky+Ilya Sutskever Student指導・ImageNet 16.4% Top-5 Error)→Google 2013-2023+Vector Institute 2017→Toronto退職 2023→Google Brain離職 AI Safety Concern「Godfather of AI」・Yann LeCun 1960生 Sorbonne→Bell Labs+New York University+Meta AI VP→FAIR Facebook AI Research・LeNet-5 1989 CNN Convolutional Neural Network先駆+MNIST handwriting digit・Yoshua Bengio 1964生 McGill→Montreal Univ MILA・Word Embeddings+Generative Adversarial Networks GAN指導 (Ian Goodfellow Student 2014・GoodFellow Apple→Google Brain→DeepMind)・3名 2018 Turing Award (AC ACM・$1M)+Hinton 2024 Nobel Physics (John Hopfield共)・Demis Hassabis 2024 Nobel Chemistry AlphaFold・¥0 公的功績、2026年Hinton+LeCun+Bengio LLM/AGI Foundation。

Deep Learning Frameworkは、人工知能・機械学習分野における重要な概念・技術です。

2024年Q4 d-Matrix (米Santa Clara・2019年Sid Sheth (CEO・元Marvell Senior VP) + Sudeep Bhoja (CTO) 共同創業・累計funding $160M+・Microsoft / M12 / Triatomic / Industry Ventures投資) 発表のCorsair・Digital In-Memory Computing (DIMC) Architecture + 9,600 TOPS INT8 + SRAM内Computing 2GB on-chip + LPDDR5 256GB Card-level memory + 600W TDP + PCIe Gen 5 x16・$3,000-$5,000/card・LLM Inference特化chip・Microsoft Azure採用予定 (2024年Q4発表・Project Forge integration)・NVIDIA H100直接競合のInference-Optimized AI Chip。

2024年成熟Tiktoken・Industry-leading OpenAI BPE tokenizer + Industry-leading cl100k_base + o200k_base + Industry-leading Rust-based fast + Industry-leading OpenAI Tiktoken MIT BPE tokenizer library 2024。

Decision Treeは、人工知能・機械学習分野における重要な概念・技術です。

2024年Microsoft Research + Tsinghua University共同発表DistAttention paper・Industry-emerging Distributed CPU Offload Attention paradigm + Industry-leading long-context CPU memory offload + Industry-emerging KV cache CPU offload paradigm + Industry-leading Microsoft + Tsinghua integrated research foundation。

Hugging Faceが開発したBERTの蒸留モデル。BERTの40%のパラメータ削減・60%の高速化を実現しつつ、97%の言語理解性能を維持する軽量NLPモデルの代表例。

2019年HuggingFace + Sanh et al.発表DistilBERT paper・Industry-leading BERT 6-Layer Distillation + Industry-leading 40% smaller + 60% faster + 97% BERT performance + Industry-leading HuggingFace Industry-leading Open-source distillation Pioneer + Industry-leading BERT distillation foundational paradigm。

2019年Sanh et al. (HuggingFace)発表DistilBERT・Industry-leading knowledge distillation LLM + Industry-leading 40% smaller BERT + Industry-leading 60% faster inference + Industry-leading 97% BERT performance retained。

HuggingFaceが2019年に提案したBERTの知識蒸留版。BERTの層数を6層（原型12層の半数）に削減しながら97%のNLP性能を維持、推論速度60%向上・モデルサイズ40%削減を達成した代表的蒸留モデル。

BERTの知識蒸留版モデル。教師BERTの知識を40%少ないパラメータの生徒モデルへ転移し、推論速度60%向上・性能97%保持を実現した2019年のHugging Face提案手法。

2024年Stanford University + UC Berkeley + Apparate Labs共同発表DistServe paper・OSDI 2024 conference presentation (Industry-leading operating systems academic conference) + Industry-leading academic research paper + Open-source implementation release + Prefill phase + Decode phase disaggregated GPU pool architecture + Industry-leading SLO-aware scheduling + Industry-leading Open-source academic implementation + Industry-emerging Disaggregated Inference paradigm research paper Pioneer。

Distributed AI Inference。vLLM Multi-Node (Tensor Parallel+Pipeline Parallel・8x H200)・Ray Serve 2.40 (Anyscale)・SkyPilot 0.7 (Multi-Cloud訓練+推論)・Determined AI (HPE)・Modular MAX 25.x・KubeRay (k8s Ray Operator)・Argo Workflow・Kueue (k8s Job Scheduler)・KubeFlow Training Operator・LLM-d (Kubernetes Distributed)・FleetingAI・¥0 OSS・Multi-Region Inference、2026年LLM-d k8s Native普及。

Distributed Training戦略。DDP Distributed Data Parallel (PyTorch・Replica×N)・FSDP/FSDP2 Fully Sharded Data Parallel・ZeRO-1/2/3 (DeepSpeed)・Tensor Parallelism TP (Megatron・Layer内Slice)・Pipeline Parallelism PP (Layer分割・GPipe・Interleaved 1F1B)・Sequence Parallelism SP・Context Parallelism CP・Expert Parallelism EP (MoE)・3D/4D Parallelism・¥0 OSS・H200×8 70B Train、2026年4D Parallel普及。

Shanghai AI LaboratoryがAlpaGasusを発展させ複雑性と品質の両スコアを組み合わせたSFTデータ選定手法。多様性制御も加えた2024年の体系的データキュレーションフレームワーク。

OpenAIが開発したBPEベースの高速トークナイザーライブラリ。Rust実装のコアにPythonバインディングを提供し、GPT-3.5/4/4oのトークン数算出に使われる。