AI・機械学習用語集

8bit浮動小数点LLM学習手法。NVIDIA Hopper/Blackwell・Transformer Engine・MSAmp・DeepSeek V3/R1 FP8大規模学習・Ascend FP8・AMD MI300X FP8対応、E4M3(順伝播)+E5M2(逆伝播)・scaling factor自動調整で2026年Large Scale LLM学習効率2-3x向上。

16bit半精度浮動小数点フォーマット。FP32の半分のメモリでAI推論/学習を高速化し、RTX 4090/H100/MI300などモダンGPUのTensor Core/Matrix Engineで劇的な性能向上を得られる。

NVIDIA Blackwellアーキテクチャ（RTX 5090/GB200）で導入されたネイティブ4ビット浮動小数点フォーマット。INT4と異なり指数部を持つことで動的範囲を確保し、LLM推論でINT8比2倍のスループットを実現する。TensorRT-LLM 0.17以降で実用化。

Flow-matchingとDiffusion Transformer（DiT）を組み合わせたゼロショット音声合成モデル。3〜15秒のリファレンス音声から話者の声質を模倣し、多言語高品質音声を生成する。上海交通大学SWINTEchチームが開発したE2-TTS改良版。

2024年10月SWivid + Shanghai Jiao Tong発表F5-TTS・Industry-leading flow matching + Diffusion Transformer + Industry-leading non-autoregressive + Industry-leading zero-shot voice cloning + Industry-leading SWivid F5-TTS MIT flow-matching TTS 2024。

機械学習で訓練データ全体を 1 周する単位。または Unix Time の起点（1970-01-01 UTC）を指す。文脈で意味が異なるが、ML 文脈が 2026 年は主流。

WizardLMが提案した、既存の指示データをLLMで段階的に複雑化・多様化する合成データ生成手法。簡単な指示を「深化」「拡張」の2方向に進化させ、高品質な難易度分布を持つ指示データセットを自動構築する。

2023年WizardLM team発表Evol-Instruct paper・Industry-leading Evolving instruction complexity paradigm + Industry-leading In-Depth + In-Breadth Evolving + Industry-leading WizardLM Pioneer。

Metaが2023年に発表した精密テキスト指示型画像編集フレームワーク。局所・グローバル編集の10タスクに特化したタスクベクトルを学習し、単一モデルで多様な編集操作を高精度に処理する。NeurIPS 2023で高評価を得た。

BAAI（北京人工知能研究院）が2024年9月に公開したユニファイドマルチモーダルモデル。テキスト生成・画像生成・画像理解を単一のトランスフォーマーデコーダーで処理するNext-Token-Predictionアーキテクチャ採用。

2019年Microsoft Research公開MS MARCO Cross-Encoder。Pro 業界Pro Mainstream Cross-Encoder Reranker先駆 + Pro Microsoft Bing データセット + Pro BERT基盤 + Pro 110M Parameters + Pro MIT License + Pro Hugging Face公開 + 累計2018-2026年8年Heritage継承代表機。

2024年3月Mixedbread.ai (ドイツ・ベルリン拠点・2023年Sean Lee + Aamir Shakir創業・OSS Retrieval/Reranking特化startup) 発表のmxbai-embed-large-v1・bert-large-uncased base + Contrastive Learning + 1,024次元 + 512 max sequence + Matryoshka Representation Learning (64-1024次元可変) + Binary Quantization対応 + Apache 2.0 License・MTEB English 64.68・OSS + Compact + Cost-efficient設計のOpenAI text-embedding-3-small対抗model。

2020年UC Berkeley公開MMLU(Massive Multitask Language Understanding)。Pro 業界Pro Mainstream AI 知識評価Bench先駆 + Pro Dan Hendrycks Pro主要研究員 + Pro 57科目15,908問 + Pro Multiple Choice 4択 + Pro MIT License + Pro 業界Pro 標準LLM評価 + 累計2020-2026年6年Heritage継承代表機。

LLMの多分野知識を測定する大規模多肢選択式ベンチマーク。MMLU は57科目14,042問、MMLU-Pro は推論重視の改良版で14科目約12,000問から構成される。

大規模言語モデルの多分野知識・推論能力を評価するベンチマーク。TIGER-Labが2024年に公開し、12,032問・14科目・10択問題で原版MMLUより大幅に難化。

オリジナルMMLUを大幅に強化した大規模言語モデル評価ベンチマーク。選択肢数を4→10に拡大し、大学院レベルの難問を追加。推論能力の真の差を検出するために設計され、Chain-of-Thought推論で精度が大きく変動する点が特徴。TIGER-Labが2024年に公開。

2024年TIGER-Lab Yubo Wang et al.発表MMLU-Pro・Industry-leading enhanced MMLU benchmark + Industry-leading 12K tasks + 14 domains + Industry-leading 10-option multiple choice + Industry-leading MMLU-Pro reasoning standard。

Google が開発したマルチレベル中間表現コンパイラ基盤。LLVM プロジェクトの一部として、機械学習モデルの最適化からハードウェア固有コード生成まで、複数の抽象化レベルを統一的に扱うインフラストラクチャを提供する。

ML Experiment Tracking。MLflow 2.18 (FOSS+Databricks Cloud)・Weights & Biases W&B (Pro/Enterprise)・Comet ML・Neptune.ai・ClearML 1.16・DVC Studio・Aim (Open Source・Python)・Sacred+Omniboard (Maintenance)・TensorBoard (TensorFlow Native)・Weave (W&B LLM)・LangSmith (LangChain LLM)・Phoenix (Arize)・¥0 OSS-¥¥¥¥¥/月、2026年MLflow 2.18+Databricks統合主流。

Apple ML Framework(2023年12月OSS)。Apple Silicon Unified Memory最適化・Lazy evaluation(JAX-like)・Multi-device(M2 Ultra+M3 cluster)・PyTorch互換API・MLX-LM library(Llama 3.3/Qwen 2.5/Mistral対応)・Whisper MLX・Stable Diffusion MLX・MLX Examples GitHub・mlx-community(Hugging Face Q4/Q8 quantized model)・LM Studio 0.3 MLX engine内蔵(2024年Q4)・Mac M4 Max 128GB で 70B Q4/Q8 実行可・速度 PyTorch CUDA比 60-80% on Mac・2026年 Mac Studio M4 Ultra Llama 3.3 70B運用定着。