AI・機械学習用語集

Apple Silicon AI推論フレームワーク。MLX(Apple 2023年・Unified Memory最適化・NumPy-like API・LLM/画像生成)・mlx-lm(Llama/Qwen/Phi-4)・mlx-swift(iOS/macOS)・CoreML(Xcode統合・Conversion ONNX)・CreateML(Transfer Learning)・Metal Performance Shaders(MPS)・ANE Neural Engine 38 TOPS・PyTorch Metal backend・Ollama Metal・M4 Max 128GB で70B Q4実行可能、2026年Apple AI推論定着。

2024年Apple ML Research公開MLX-LM。Pro 業界Pro Mainstream Apple Silicon LLM Inference Top + Pro 米国Cupertino Apple + Pro Awni Hannun Pro主要研究員 + Pro Metal Performance Shaders + Pro MIT License + Pro Unified Memory最適化 + 累計2023-2026年3年Heritage継承代表機。

ニューラルネットワークの計算グラフを解析し、ハードウェア固有の命令列へ変換・最適化することで推論や学習の実行速度を大幅に向上させる技術群の総称。

2023年Carnegie Mellon University (CMU) 発表のMLC-LLM (Machine Learning Compilation for Large Language Models)・Tianqi Chen教授 (XGBoost/MXNet/Apache TVM作者) 主導のOSS Cross-Hardware LLM Compiler framework。Apache 2.0 License・GitHub Star 22k+ (2024年Q4)・Python/C++/TVM Unity実装・iOS/Android/macOS/Linux/Windows/WebGPU/CUDA/Metal/Vulkan/ROCm 全hardware対応・Native code compilation方式 (Python依存無)・WebLLM (Browser内Llama実行) + iOS App + Android App公式提供。

Machine Learning Compilation for LLMの略。Apache TVM/MLCコンパイラスタックを用いてLLMをCUDA/Metal/Vulkan/WebGPU向けに最適化コンパイルし、スマートフォンから高性能GPUまで幅広いデバイスでLLMを実行するフレームワーク。

ML Commons業界標準AIベンチマーク。MLPerf Training v5.0(2025)・Inference v5.0(Llama 3.1 405B・Mixtral 8x22B)・Tiny v1.2・Storage v2.0・HPC v4.0、NVIDIA B200 NVL72・AMD Instinct MI325X・Intel Gaudi 3・Google TPU v5p・AWS Trainium 2が2026年競合、Llama 2 70B以降主要モデル。

ML Platform。Kubeflow 1.10 (CNCF・k8s)・Metaflow (Netflix・Outerbounds Cloud)・Flyte 1.14 (Union AI・Workflow)・Airflow 2.10 (Workflow)・Prefect 3 (Modern Orchestration)・Dagster 1.9・MLflow 2.18・SageMaker AWS・Vertex AI GCP・Azure ML・Determined AI HPE・Polyaxon・Valohai・¥0 OSS-¥¥¥¥¥¥/月、2026年Flyte+Metaflow急成長。

ML Lifecycle管理OSS(Databricks発・2018-)。MLflow 3.0(2025年Q4・LLM Ops統合・Deep Learning 2.0)・Tracking・Models・Registry・Projects・Evaluate・AI Gateway・Prompt Engineering UI対応、W&B/Neptune/Comet競合、2026年LLMOps用途拡大。

Machine Learning Research Milestone 15年史 2010-2026。ImageNet (2009 Fei-Fei Li Princeton→Stanford・1500万 Image+22000 Class Dataset公開)+ILSVRC ImageNet Challenge (2010-2017)・AlexNet (2012年9月30日 Alex Krizhevsky+Ilya Sutskever+Geoff Hinton Toronto・GPU NVIDIA GTX 580 ×2・Top 5 Error 15.3%・Deep Learning革命起点)→VGGNet (2014 Oxford 19 Layer)→GoogLeNet Inception (2014 Google)→ResNet (2015 Kaiming He Microsoft・Skip Connection 152 Layer・ImageNet Top 3.57%人間超え)→DenseNet→EfficientNet・Generative Adversarial Network GAN (2014年6月 Ian Goodfellow・Generator+Discriminator)→DCGAN+CycleGAN+StyleGAN+StyleGAN3 (2021 NVIDIA)・Variational Autoencoder VAE (2013 Diederik Kingma・Auto-Encoding Variational Bayes)・Word2Vec (2013 Mikolov Google)・GloVe (2014 Stanford)・Sequence to Seq+Attention (2014 Bahdanau)・Transformer (2017年6月12日 Vaswani+Polosukhin Google・Attention Is All You Need NeurIPS論文・Encoder-Decoder)・BERT (2018年10月 Google・Bidirectional・Pre-training+Fine-tuning Era)・GPT-1 (2018 OpenAI 1.17億 Param)→GPT-2 (2019 1.5B Too Dangerous to Release)→GPT-3 (2020年5月 175B Param・Few-shot+ChatGPT 2022年11月)→GPT-4 (2023年3月 Multimodal)・AlphaGo (2016年3月 DeepMind vs Lee Sedol 4-1)+AlphaZero (2017)+MuZero+AlphaFold 2 (2021タンパク質構造予測)・DALL-E (2021)+CLIP+Stable Diffusion (2022年8月 LMU Munich・Open Source LDM)・LLaMA (2023 Meta Open Weight)+LLaMA 2/3/4 (2024-25)・Mixtral MoE+Mistral (2023-24)・Sora Video Gen (2024 OpenAI)+Veo 3 (2024 Google)・Gemini Ultra/Pro/Flash (2023-24)+Claude 3.5 Sonnet+Opus (Anthropic 2024-25)・GPT-5 (2025年8月)+Claude 4 Sonnet 4.5/4.6/4.7 Opus 4.7 (2025-26)・¥0 OSS-¥¥¥¥¥¥¥¥¥¥/Token API 2026。

Mixture of Experts・エキスパート混合モデル。GPT-5/GPT-4o(1.8T total/280B active推定)・Mixtral 8x22B・DeepSeek V3(671B/37B active)・Llama 4 Maverick 400B/17B active・Grok 3・Qwen3-235B-A22B・Kimi K2が2026年代表、選択活性化で計算効率3-10x向上。

LLM疎活性化専門家混合アーキテクチャ。Mixtral 8x22B/8x7B・DeepSeek V3/R1(671B・37B active)・Qwen3-235B-A22B・Llama 4 Maverick(400B・17B active)・Grok-2・GLM-4.5 MoE・Switch Transformer派生、全パラ推論不要で2026年Frontier LLM定番、expertルーティング+負荷分散最適化。

Sparse MoE モデルの学習・推論時にエキスパート間のトークン割り当てを均等化する手法群の総称。負荷の偏りはエキスパート崩壊や計算資源の無駄遣いを引き起こすため、補助損失やキャパシティ制約で制御する。

MoEエキスパート並列（Expert Parallelism / EP）は、Mixture-of-Expertsモデルの各エキスパートを異なるGPU/アクセラレータに分散配置し、トークンをAll-to-All通信で適切なGPUに転送して処理する並列化手法である。データ並列やテンソル並列と組み合わせた3D/4D並列化が大規模MoEモデルの学習・推論に不可欠な技術となっている。

MoEゲーティングネットワーク（ルーター）は、Mixture-of-Expertsモデルにおいてトークンの隠れ表現から各エキスパートへの割り当てスコアを計算する小規模なニューラルネットワークである。線形変換＋Softmax方式が基本形で、Top-Kフィルタリングによりスパース活性化を実現する。

MoEスパース活性化とは、Mixture-of-Expertsモデルにおいて全エキスパートのうち一部（Top-K）のみを各トークンの処理に使用する計算方式である。総パラメータ数に対して実際の演算量（FLOPS）を大幅に削減でき、Mixtral 8x7Bでは8エキスパート中2つのみの活性化で推論コストを約1/4に抑制している。

MoEルーティングメカニズムは、Mixture-of-Expertsモデルにおいて各入力トークンをどのエキスパートに割り当てるかを決定する仕組みである。ゲーティングネットワークがトークンの隠れ表現からルーティング確率を算出し、上位K個のエキスパートを選択して出力を加重合成する。

MLLMが生成する表現力豊かな指示でDiffusionモデルを誘導する画像編集手法（MLLM-Guided Image Editing）。Apple ResearchとUCSBが2024年発表。曖昧な自然言語指示をMLLMが詳細な視覚表現に変換し、より正確な画像編集を実現する。

LLMの推論過程にMonte Carlo Tree Search（MCTS）を適用し、複数の推論経路を木構造で探索・評価して最良解を選択するTest-Time Compute手法。

Anthropic MCP Model Context Protocol。MCP 1.0 (Anthropic 2024-11 OSS)・JSON-RPC 2.0 ベース・Stdio/SSE/HTTP+SSE Transport・Server Side Tool/Resources/Prompts・Client (Claude Desktop/Cursor/Windsurf/Cline)・Server SDK (TypeScript/Python/Java/Kotlin)・MCP Server一覧 (filesystem・github・slack・PostgreSQL・Memory)・mcp-server-everything・GitHub Copilot対応・¥0 OSS、2026年MCP標準化加速 (OpenAI/Google対応予定)。

Anthropic Model Context Protocol(2024年11月発表・OSS)。JSON-RPC 2.0 based・Tools/Resources/Prompts 3 primitive・stdio/SSE/HTTP transport・Client(Claude Desktop/Cursor/Cline/Zed)・Server実装: Python/TypeScript/Go/Rust SDK・公式Server(GitHub/Slack/Google Drive/Notion/Sentry)・Community 数千server・Cursor Rules統合・LLM agent + external tool接続標準化・OpenAI ChatGPT 2025年Q1採用・Gemini CLI 2025年Q2対応、2026年AI agent標準。