AI・機械学習用語集

Googleが2022年に発表した数学・科学的推論特化LLM。PaLMをベースに118Bトークンの数学論文・教科書コーパスを追加学習し、大学レベル数学問題をステップバイステップで解くパイオニア的モデル。

2024年にKelvin Wuらが提案したLLM向け最適化アルゴリズム。勾配行列にNesterovモーメンタムとNewton-schulz直交化を組み合わせ、AdamWより高いサンプル効率を実現する次世代オプティマイザー。

2023年6月9日Meta公開MusicGen。Pro 業界Pro Open Source Music AI業界出発点 + Pro 30秒楽曲生成 + Pro Transformer Architecture + Pro AudioCraft Pro Famous統合 + Pro 1.5B-3.3B Parameters + Pro MIT License + Pro Hugging Face公開 + 累計2023-2025年2年Heritage。

LF AI & Dataが支援するオープンソースのベクトルデータベース。分散アーキテクチャとマルチインデックスサポートにより、数十億規模のベクトルを管理できるエンタープライズ向けの選択肢。

2024年Zilliz発表Milvus 2.4・Industry-leading scale-out distributed vector database + Industry-leading 10B+ vectors + Industry-leading multi-modal + Industry-leading Zilliz Milvus 2.4 Apache 2.0 scale-out distributed vector database 2024。

2024年Milvus 2.5 GA Sparse Vector対応。Sparse Vector Index+Hybrid Search+Multi-vector Field+IVF Sparse+Bitmap Index+Range Query+1Billion Vector Scale+RaBitQ Quantization搭載。

2023年Nguyen et al.発表Min-p Sampling paper・Industry-emerging Minimum Probability threshold sampling paradigm + Industry-leading min_p=0.05-0.1 default + Industry-emerging Top-p alternative paradigm + Industry-leading creative writing + low-temperature scenarios advantage + Industry-leading Hugging Face + llama.cpp Industry-emerging adoption。

2024年提案のLLMサンプリング手法。最高確率トークンのp値に係数を掛けた動的しきい値以下のトークンを除外する。Top-pより文脈適応的で高品質な出力を維持しつつ多様性を確保。

2024年Q2 Moonshot AI (中国Beijing・2023年3月Yang Zhilin (元Tsinghua) 創業・累計funding $3B+/Series B・Kimi LLM family・中国AI startup leader) 発表Mooncake paper + production system・Kimi LLM production system Disaggregated Inference architecture・KV Cache-centric architecture + Prefill-Decode disaggregation + Industry-leading Disaggregated Inference Pioneer system + Production deployment Industry-shocking scale + 中国AI Industry-leading inference system + Long-context Kimi 200万token optimized + Industry-emerging Disaggregated Inference paradigm 2024年wave Pioneer。

2023年Mubert公開Mubert Render API。Pro 業界Pro Mainstream AI Royalty-Free Music生成 + Pro UAE Dubai Mubert + Pro 2016-Mubert設立 + Pro Royalty-Free商用利用OK + Pro Streaming Service + Pro Mood/Genre/Activity Tag指定生成 + Pro $11.99/月 + 累計2016-2026年10年Heritage継承代表機。

NVIDIA が開発した大規模Transformerモデル向け分散学習フレームワーク。テンソル並列・パイプライン並列・シーケンス並列を統合的に提供し、数兆パラメータモデルの効率的な学習を実現する。GPT・BERT・T5等の主要アーキテクチャに対応する。

2024年NVIDIA (米Santa Clara・Industry-leading AI GPU dominant brand) Megatron-LM Industry-leading Distributed Training library・NVIDIA Industry-leading GPU optimization framework・Tensor Parallelism + Pipeline Parallelism + 3D parallelism + Industry-leading NVIDIA GPU optimization paradigm + Industry-leading 1T+ parameter LLM training optimization + Industry-leading NVIDIA H100 + B200 + GB200 + Industry-leading GPU optimization・NVIDIA NeMo framework integration + Industry-leading NVIDIA AI Industry-leading training stack・Industry-leading GPU optimization Pioneer position確立。

NVIDIAが開発した大規模言語モデル向け分散学習フレームワーク。テンソル並列・パイプライン並列・シーケンス並列を組み合わせた「3D並列化」でGPT/BERT系超大規模モデルの効率的学習を実現。Transformer Engineと統合してFP8学習にも対応する。

LLMの内部計算の仕組みを回路レベル・特徴レベルで解明しようとするAI解釈可能性研究の一分野。ニューラルネットワークが何をどのように学習しているかを逆工学的に明らかにする。

Meta AIが2024年に発表した、指数移動平均（EMA）と複素数ゲート付きアテンションを組み合わせたTransformerの代替アーキテクチャ。線形計算量で長系列を処理し、Llama 2 7Bを性能・効率ともに上回る。

2024年Meta発表MEGALODON paper・Industry-leading Meta Complex Exponential Moving Average long context paradigm + Industry-leading Complex EMA gated attention + Industry-emerging MEGALODON Meta Pioneer。

2025年Meta予想発表のMTIA v3・Meta第3世代 Training and Inference Accelerator (MTIA v1 2023年 + MTIA v2 2024年Q1 後継)・Meta内Recommendation system (Facebook Feed / Instagram Ranking / Threads ranking) + Llama 4/5 training infrastructure・354 TFLOPS BF16 (MTIA v2) → 700+ TFLOPS BF16 (MTIA v3予想・2倍性能) + LPDDR5X 192GB + 3nm TSMC・Meta Custom Silicon strategy ($65B+ 2024年AI infrastructure investment) + NVIDIA H100 350,000 chip + AMD MI300X 50,000 chip + Meta MTIA v2/v3 Multi-vendor approach。

2024年Meta公開のInternal AI Accelerator第2世代。MTIA Training Inference Accelerator v2+TSMC 5nm+128GB LPDDR5+Recommendation Model最適化+Llama 3 inference用途。

2024年Q3-Q4 Meta (米Menlo Park・Facebook + Instagram + WhatsApp + Threads Multi-platform・累計売上$150B+/year・Industry-leading social media + AI infrastructure investor) Grand Teton + Andromeda AI infrastructure deployment・600k+ H100 equivalent compute (Multi-site aggregate・Industry-leading total compute scale)・Grand Teton = HGX H100 platform Meta-customized + Andromeda = Meta-scale AI cluster network architecture + Llama 3 / Llama 4 training compute infrastructure + Industry-leading total compute aggregate 2024年。

ソフトウェア開発チームをシミュレートするマルチエージェントLLMフレームワーク。プロダクトマネージャー・アーキテクト・エンジニア・QAなどの役割を持つエージェントが協調し、自然言語の要件からコードを自動生成する。