1978件の用語
2020年Microsoft Research + Wang et al.発表MiniLM paper・Industry-leading Self-Attention Distillation paradigm Pioneer + Industry-leading deep self-attention distillation + Industry-leading value-relation distillation + Industry-leading 99% BERT-base performance + Industry-leading MiniLMv2後続 successor・Industry-leading Microsoft Research backing。
2023年Gu et al. (THU+Microsoft)発表MiniLLM・Industry-leading LLM knowledge distillation + Industry-leading reverse KL divergence minimization + Industry-leading LLaMA 7B→3B + Industry-leading generative LLM distillation pioneer。
Microsoft Research提案のLLM知識蒸留手法。従来の順KLダイバージェンスでなく逆KLを最適化することで教師LLMの分布を忠実に再現し、ハルシネーション低減と長文生成品質向上を実現。
大型LLMの知識を小型モデルへ転移する知識蒸留手法。逆KLダイバージェンスを最小化し、教師モデルの生成分布を効率的に模倣する2023年Microsoft Research提案のフレームワーク。
2024年OpenBMB発売MiniCPM-V・Industry-leading OpenBMB efficient Vision-Language Model + Industry-leading 8B parameter efficient VLM + Industry-leading on-device deployment + Industry-emerging MiniCPM-V OpenBMB Pioneer。
中国 MiniMax 社(上海稀宇科技)が 2026 年に公開した最新世代 LLM。MoE 構造と 1M トークン級の長文脈処理に強く、要約/対話/コード生成のバランス型として Qwen3.5/DeepSeek V3/GLM-4.7 と並ぶ中国オープン LLM の主要選択肢。
Googleが2022年に発表した数学・科学的推論特化LLM。PaLMをベースに118Bトークンの数学論文・教科書コーパスを追加学習し、大学レベル数学問題をステップバイステップで解くパイオニア的モデル。
2024年にKelvin Wuらが提案したLLM向け最適化アルゴリズム。勾配行列にNesterovモーメンタムとNewton-schulz直交化を組み合わせ、AdamWより高いサンプル効率を実現する次世代オプティマイザー。
2023年6月9日Meta公開MusicGen。Pro 業界Pro Open Source Music AI業界出発点 + Pro 30秒楽曲生成 + Pro Transformer Architecture + Pro AudioCraft Pro Famous統合 + Pro 1.5B-3.3B Parameters + Pro MIT License + Pro Hugging Face公開 + 累計2023-2025年2年Heritage。
LF AI & Dataが支援するオープンソースのベクトルデータベース。分散アーキテクチャとマルチインデックスサポートにより、数十億規模のベクトルを管理できるエンタープライズ向けの選択肢。
2024年Zilliz発表Milvus 2.4・Industry-leading scale-out distributed vector database + Industry-leading 10B+ vectors + Industry-leading multi-modal + Industry-leading Zilliz Milvus 2.4 Apache 2.0 scale-out distributed vector database 2024。
2024年Milvus 2.5 GA Sparse Vector対応。Sparse Vector Index+Hybrid Search+Multi-vector Field+IVF Sparse+Bitmap Index+Range Query+1Billion Vector Scale+RaBitQ Quantization搭載。
2023年Nguyen et al.発表Min-p Sampling paper・Industry-emerging Minimum Probability threshold sampling paradigm + Industry-leading min_p=0.05-0.1 default + Industry-emerging Top-p alternative paradigm + Industry-leading creative writing + low-temperature scenarios advantage + Industry-leading Hugging Face + llama.cpp Industry-emerging adoption。
2024年提案のLLMサンプリング手法。最高確率トークンのp値に係数を掛けた動的しきい値以下のトークンを除外する。Top-pより文脈適応的で高品質な出力を維持しつつ多様性を確保。
2024年Q2 Moonshot AI (中国Beijing・2023年3月Yang Zhilin (元Tsinghua) 創業・累計funding $3B+/Series B・Kimi LLM family・中国AI startup leader) 発表Mooncake paper + production system・Kimi LLM production system Disaggregated Inference architecture・KV Cache-centric architecture + Prefill-Decode disaggregation + Industry-leading Disaggregated Inference Pioneer system + Production deployment Industry-shocking scale + 中国AI Industry-leading inference system + Long-context Kimi 200万token optimized + Industry-emerging Disaggregated Inference paradigm 2024年wave Pioneer。
2023年Mubert公開Mubert Render API。Pro 業界Pro Mainstream AI Royalty-Free Music生成 + Pro UAE Dubai Mubert + Pro 2016-Mubert設立 + Pro Royalty-Free商用利用OK + Pro Streaming Service + Pro Mood/Genre/Activity Tag指定生成 + Pro $11.99/月 + 累計2016-2026年10年Heritage継承代表機。
2024年NVIDIA (米Santa Clara・Industry-leading AI GPU dominant brand) Megatron-LM Industry-leading Distributed Training library・NVIDIA Industry-leading GPU optimization framework・Tensor Parallelism + Pipeline Parallelism + 3D parallelism + Industry-leading NVIDIA GPU optimization paradigm + Industry-leading 1T+ parameter LLM training optimization + Industry-leading NVIDIA H100 + B200 + GB200 + Industry-leading GPU optimization・NVIDIA NeMo framework integration + Industry-leading NVIDIA AI Industry-leading training stack・Industry-leading GPU optimization Pioneer position確立。
NVIDIAが開発した大規模言語モデル向け分散学習フレームワーク。テンソル並列・パイプライン並列・シーケンス並列を組み合わせた「3D並列化」でGPT/BERT系超大規模モデルの効率的学習を実現。Transformer Engineと統合してFP8学習にも対応する。
LLMの内部計算の仕組みを回路レベル・特徴レベルで解明しようとするAI解釈可能性研究の一分野。ニューラルネットワークが何をどのように学習しているかを逆工学的に明らかにする。
Meta AIが2024年に発表した、指数移動平均（EMA）と複素数ゲート付きアテンションを組み合わせたTransformerの代替アーキテクチャ。線形計算量で長系列を処理し、Llama 2 7Bを性能・効率ともに上回る。