AI・機械学習

NVIDIAが2024年9月に公開したマルチモーダル言語モデル。72Bパラメータ・InternViT-6B+Llama-3.1-70B構成でGPT-4o Visionに匹敵する性能を示す。

2026年Q4 NVIDIA Rubin GPU世代 launch時導入予定NVLink 6世代Interconnect・前世代NVLink 5 (Blackwell GB200 2024年・1.8TB/s) の2倍 3.6TB/s帯域 + Rubin Ultra (2027年 NVL576 144 GPUs racks) スケール対応 + NVLink Switch 6 chip + Coherent memory access (Multi-GPU unified memory) + Per-link bandwidth 200GB/s x18 ports = 3.6TB/s aggregate・AI Hyperscaler GB300 NVL72 / Rubin VR200 NVL144 / VR300 NVL576 deployment standard。

LLMが知識不足や学習データの偏りにより生じる「知識の不確実性」。モデルのパラメータや訓練データを増やすことで理論上は低減できる不確実性。

LLMエージェントが過去の会話・タスク・経験を個別エピソードとして保持・検索し将来の推論に活用するメモリ機能。

PyTorch Foundation + Meta AI Research発表FSDP・Fully Sharded Data Parallel・PyTorch-native Industry-leading Distributed Training method・FSDP v1 2022年 + FSDP v2 2024年 evolution + Industry-leading PyTorch ecosystem alignment + Industry-leading Open-source Distributed Training PyTorch-native paradigm・DeepSpeed ZeRO inspired + PyTorch native implementation + Industry-leading PyTorch users adoption + Industry-leading Open-source PyTorch ecosystem alignment + Meta Llama training foundation。

NVIDIA H100/H200・AMD MI300X等の最新GPU内蔵のFP8（E4M3/E5M2）演算ユニットを活用したLLM推論・訓練高速化技術。INT8推論より精度が高く、FP16より2倍高速な行列乗算が可能。vLLMおよびTensorRT-LLMが2024年にFP8を本格サポートした。

8bit浮動小数点LLM学習手法。NVIDIA Hopper/Blackwell・Transformer Engine・MSAmp・DeepSeek V3/R1 FP8大規模学習・Ascend FP8・AMD MI300X FP8対応、E4M3(順伝播)+E5M2(逆伝播)・scaling factor自動調整で2026年Large Scale LLM学習効率2-3x向上。

16bit半精度浮動小数点フォーマット。FP32の半分のメモリでAI推論/学習を高速化し、RTX 4090/H100/MI300などモダンGPUのTensor Core/Matrix Engineで劇的な性能向上を得られる。

NVIDIA Blackwellアーキテクチャ（RTX 5090/GB200）で導入されたネイティブ4ビット浮動小数点フォーマット。INT4と異なり指数部を持つことで動的範囲を確保し、LLM推論でINT8比2倍のスループットを実現する。TensorRT-LLM 0.17以降で実用化。

Flow-matchingとDiffusion Transformer（DiT）を組み合わせたゼロショット音声合成モデル。3〜15秒のリファレンス音声から話者の声質を模倣し、多言語高品質音声を生成する。上海交通大学SWINTEchチームが開発したE2-TTS改良版。

2024年10月SWivid + Shanghai Jiao Tong発表F5-TTS・Industry-leading flow matching + Diffusion Transformer + Industry-leading non-autoregressive + Industry-leading zero-shot voice cloning + Industry-leading SWivid F5-TTS MIT flow-matching TTS 2024。

機械学習で訓練データ全体を 1 周する単位。または Unix Time の起点（1970-01-01 UTC）を指す。文脈で意味が異なるが、ML 文脈が 2026 年は主流。

WizardLMが提案した、既存の指示データをLLMで段階的に複雑化・多様化する合成データ生成手法。簡単な指示を「深化」「拡張」の2方向に進化させ、高品質な難易度分布を持つ指示データセットを自動構築する。

2023年WizardLM team発表Evol-Instruct paper・Industry-leading Evolving instruction complexity paradigm + Industry-leading In-Depth + In-Breadth Evolving + Industry-leading WizardLM Pioneer。

Metaが2023年に発表した精密テキスト指示型画像編集フレームワーク。局所・グローバル編集の10タスクに特化したタスクベクトルを学習し、単一モデルで多様な編集操作を高精度に処理する。NeurIPS 2023で高評価を得た。

BAAI（北京人工知能研究院）が2024年9月に公開したユニファイドマルチモーダルモデル。テキスト生成・画像生成・画像理解を単一のトランスフォーマーデコーダーで処理するNext-Token-Predictionアーキテクチャ採用。

2019年Microsoft Research公開MS MARCO Cross-Encoder。Pro 業界Pro Mainstream Cross-Encoder Reranker先駆 + Pro Microsoft Bing データセット + Pro BERT基盤 + Pro 110M Parameters + Pro MIT License + Pro Hugging Face公開 + 累計2018-2026年8年Heritage継承代表機。

2024年3月Mixedbread.ai (ドイツ・ベルリン拠点・2023年Sean Lee + Aamir Shakir創業・OSS Retrieval/Reranking特化startup) 発表のmxbai-embed-large-v1・bert-large-uncased base + Contrastive Learning + 1,024次元 + 512 max sequence + Matryoshka Representation Learning (64-1024次元可変) + Binary Quantization対応 + Apache 2.0 License・MTEB English 64.68・OSS + Compact + Cost-efficient設計のOpenAI text-embedding-3-small対抗model。

2020年UC Berkeley公開MMLU(Massive Multitask Language Understanding)。Pro 業界Pro Mainstream AI 知識評価Bench先駆 + Pro Dan Hendrycks Pro主要研究員 + Pro 57科目15,908問 + Pro Multiple Choice 4択 + Pro MIT License + Pro 業界Pro 標準LLM評価 + 累計2020-2026年6年Heritage継承代表機。

大規模言語モデルの多分野知識・推論能力を評価するベンチマーク。TIGER-Labが2024年に公開し、12,032問・14科目・10択問題で原版MMLUより大幅に難化。