2472件の用語
2024年にKelvin Wuらが提案したLLM向け最適化アルゴリズム。勾配行列にNesterovモーメンタムとNewton-schulz直交化を組み合わせ、AdamWより高いサンプル効率を実現する次世代オプティマイザー。
2023年6月9日Meta公開MusicGen。Pro 業界Pro Open Source Music AI業界出発点 + Pro 30秒楽曲生成 + Pro Transformer Architecture + Pro AudioCraft Pro Famous統合 + Pro 1.5B-3.3B Parameters + Pro MIT License + Pro Hugging Face公開 + 累計2023-2025年2年Heritage。
LF AI & Dataが支援するオープンソースのベクトルデータベース。分散アーキテクチャとマルチインデックスサポートにより、数十億規模のベクトルを管理できるエンタープライズ向けの選択肢。
2024年Zilliz発表Milvus 2.4・Industry-leading scale-out distributed vector database + Industry-leading 10B+ vectors + Industry-leading multi-modal + Industry-leading Zilliz Milvus 2.4 Apache 2.0 scale-out distributed vector database 2024。
2024年Milvus 2.5 GA Sparse Vector対応。Sparse Vector Index+Hybrid Search+Multi-vector Field+IVF Sparse+Bitmap Index+Range Query+1Billion Vector Scale+RaBitQ Quantization搭載。
2023年Nguyen et al.発表Min-p Sampling paper・Industry-emerging Minimum Probability threshold sampling paradigm + Industry-leading min_p=0.05-0.1 default + Industry-emerging Top-p alternative paradigm + Industry-leading creative writing + low-temperature scenarios advantage + Industry-leading Hugging Face + llama.cpp Industry-emerging adoption。
2024年提案のLLMサンプリング手法。最高確率トークンのp値に係数を掛けた動的しきい値以下のトークンを除外する。Top-pより文脈適応的で高品質な出力を維持しつつ多様性を確保。
2024年Q2 Moonshot AI (中国Beijing・2023年3月Yang Zhilin (元Tsinghua) 創業・累計funding $3B+/Series B・Kimi LLM family・中国AI startup leader) 発表Mooncake paper + production system・Kimi LLM production system Disaggregated Inference architecture・KV Cache-centric architecture + Prefill-Decode disaggregation + Industry-leading Disaggregated Inference Pioneer system + Production deployment Industry-shocking scale + 中国AI Industry-leading inference system + Long-context Kimi 200万token optimized + Industry-emerging Disaggregated Inference paradigm 2024年wave Pioneer。
2023年Mubert公開Mubert Render API。Pro 業界Pro Mainstream AI Royalty-Free Music生成 + Pro UAE Dubai Mubert + Pro 2016-Mubert設立 + Pro Royalty-Free商用利用OK + Pro Streaming Service + Pro Mood/Genre/Activity Tag指定生成 + Pro $11.99/月 + 累計2016-2026年10年Heritage継承代表機。
NVIDIA が開発した大規模Transformerモデル向け分散学習フレームワーク。テンソル並列・パイプライン並列・シーケンス並列を統合的に提供し、数兆パラメータモデルの効率的な学習を実現する。GPT・BERT・T5等の主要アーキテクチャに対応する。
2024年NVIDIA (米Santa Clara・Industry-leading AI GPU dominant brand) Megatron-LM Industry-leading Distributed Training library・NVIDIA Industry-leading GPU optimization framework・Tensor Parallelism + Pipeline Parallelism + 3D parallelism + Industry-leading NVIDIA GPU optimization paradigm + Industry-leading 1T+ parameter LLM training optimization + Industry-leading NVIDIA H100 + B200 + GB200 + Industry-leading GPU optimization・NVIDIA NeMo framework integration + Industry-leading NVIDIA AI Industry-leading training stack・Industry-leading GPU optimization Pioneer position確立。
NVIDIAが開発した大規模言語モデル向け分散学習フレームワーク。テンソル並列・パイプライン並列・シーケンス並列を組み合わせた「3D並列化」でGPT/BERT系超大規模モデルの効率的学習を実現。Transformer Engineと統合してFP8学習にも対応する。
LLMの内部計算の仕組みを回路レベル・特徴レベルで解明しようとするAI解釈可能性研究の一分野。ニューラルネットワークが何をどのように学習しているかを逆工学的に明らかにする。
Meta AIが2024年に発表した、指数移動平均（EMA）と複素数ゲート付きアテンションを組み合わせたTransformerの代替アーキテクチャ。線形計算量で長系列を処理し、Llama 2 7Bを性能・効率ともに上回る。
2024年Meta発表MEGALODON paper・Industry-leading Meta Complex Exponential Moving Average long context paradigm + Industry-leading Complex EMA gated attention + Industry-emerging MEGALODON Meta Pioneer。
2025年Meta予想発表のMTIA v3・Meta第3世代 Training and Inference Accelerator (MTIA v1 2023年 + MTIA v2 2024年Q1 後継)・Meta内Recommendation system (Facebook Feed / Instagram Ranking / Threads ranking) + Llama 4/5 training infrastructure・354 TFLOPS BF16 (MTIA v2) → 700+ TFLOPS BF16 (MTIA v3予想・2倍性能) + LPDDR5X 192GB + 3nm TSMC・Meta Custom Silicon strategy ($65B+ 2024年AI infrastructure investment) + NVIDIA H100 350,000 chip + AMD MI300X 50,000 chip + Meta MTIA v2/v3 Multi-vendor approach。
2024年Meta公開のInternal AI Accelerator第2世代。MTIA Training Inference Accelerator v2+TSMC 5nm+128GB LPDDR5+Recommendation Model最適化+Llama 3 inference用途。
2024年Q3-Q4 Meta (米Menlo Park・Facebook + Instagram + WhatsApp + Threads Multi-platform・累計売上$150B+/year・Industry-leading social media + AI infrastructure investor) Grand Teton + Andromeda AI infrastructure deployment・600k+ H100 equivalent compute (Multi-site aggregate・Industry-leading total compute scale)・Grand Teton = HGX H100 platform Meta-customized + Andromeda = Meta-scale AI cluster network architecture + Llama 3 / Llama 4 training compute infrastructure + Industry-leading total compute aggregate 2024年。
ソフトウェア開発チームをシミュレートするマルチエージェントLLMフレームワーク。プロダクトマネージャー・アーキテクト・エンジニア・QAなどの役割を持つエージェントが協調し、自然言語の要件からコードを自動生成する。
SOP（標準業務手順書）をLLMマルチエージェントに適用するフレームワーク。プロダクトマネージャー・アーキテクト・エンジニア・QAの各ロールにSOP化された手順を割り当て、ソフトウェア開発プロセス全体を自動化する2023年公開の研究プロジェクト。