2472件の用語
2024年成熟MetaGPT・Industry-leading software company simulation + Industry-leading multi-role agent (PM/Architect/Engineer/QA) + Industry-leading 45,000+ GitHub stars + Industry-leading DeepWisdom MetaGPT MIT software company simulation framework 2024。
Sirui Hong ら DeepWisdom 2023年8月発表ソフトウェア会社シミュレーション AI Agent。SOP ベース・PM/Architect/Engineer Role・GitHub 45k
2013年Yann LeCun主導Meta FAIR(Facebook AI Research)創業。Pro Open Source AI Lab業界Top独占代表機 + Pro PyTorch 2016発表 + Pro LLaMA 2023-02 Pro Famous + Pro LLaMA 3 2024-04 + Pro Mainstream Open Source LLM業界出発点 + 累計2013-2025年12年Heritage Pro Top独占。
2023年Yu et al. (NUS+SJTU)発表MetaMath・Industry-leading math reasoning LLM + Industry-leading bootstrap question augmentation + Industry-leading MetaMathQA 395K dataset + Industry-leading LLaMA-2 7B-70B fine-tuned。
Meta 2024年12月発売のオープンウェイト LLM。70B パラメータ + Llama 3.1 405B 同等性能・無料 + ローカル動作 + Hugging Face.
Metaが2024年12月に発表した、70Bパラメータ規模でありながら上位モデルに匹敵する性能を誇る大規模言語モデル。推論能力や多言語対応の最適化が進み、効率的な計算資源での運用を実現している。
米 Meta 2024年12月発表の主流 OSS LLM。70B モデル + 405B 同水準性能 + Llama 3.1 後継・「OSS LLM 業界主流」.
Meta AI 2024年4月発表のオープンソース LLM。8B/70B/405B 3 サイズ展開・Apache 2.0 License・GPT-4 同等性能 (405B)・Hugging Face 公開・累計5億+ download。
2024年Meshy公開Meshy 4。Pro 業界Pro Mainstream Text-to-3D + Image-to-3D両対応 + Pro 米国San Francisco Meshy + Pro Doodly Wei CEO + Pro 30秒-2分生成 + Pro GLB/FBX/OBJ/USDZ出力 + Pro Stylized Mode + 累計2023-2026年3年Heritage継承代表機。
スイスEPFLが開発した医療特化型LLM。Llama-2をベースに医学論文・ガイドライン・臨床データで継続学習し、医療QAと臨床意思決定支援で高精度を発揮する。
2024年Cai et al. (Princeton+Together AI)発表Medusa・Industry-leading speculative decoding LLM + Industry-leading multiple decoding heads + Industry-leading tree attention + Industry-leading 2-3× inference speedup vs vanilla autoregressive。
LLM推論高速化手法。単一モデルに複数のデコーダヘッドを追加し複数トークンを並行予測・検証することで、品質を保ちつつ2〜3倍の推論速度を実現する投機的デコーディング実装。
Medusa（メデューサ）は、ターゲットLLMの最終隠れ層に複数の追加デコーディングヘッドを取り付け、各ヘッドが将来の異なる位置のトークンを同時に予測することで、外部ドラフトモデルなしに投機的デコーディングを実現する手法である。Medusa-1は典型的採択（typical acceptance）による近似検証、Medusa-2は修正棄却サンプリングによる厳密検証をサポートし、ツリーベースの候補構造と組み合わせることで2〜3倍のスピードアップを実現する。
2023年Q4 Together AI + Princeton University + Stanford共同発表Medusa Decoding paper・Industry-leading Multi-head speculative decoding paradigm + Industry-leading multi-head draft heads parallel speculative decoding + Industry-leading 2.0-2.8x LLM decoding speedup・Industry-leading Together AI Industry-leading commercial LLM serving + Industry-leading Princeton + Stanford academic research foundation + Industry-leading vLLM/TGI integration Industry-leading production adoption。
LLMの最終層に複数の独立した小型ヘッドを追加し、複数トークンを並列に投機生成するデコーディング高速化手法。既存モデルのウェイトを変更せず、追加ヘッドのみ訓練することで2〜3倍のスループットを実現。
LLMの既存Transformerモデルに複数の予測ヘッドを追加し、各ヘッドが異なる将来位置のトークンを同時に予測することで、追加学習のみで1.8〜2.8倍の推論高速化を実現する並列デコーディング手法。
LLMの推論高速化手法で、複数の投機的デコードヘッドをベースモデルに並列追加し、1フォワードパスで複数トークンの候補を同時生成・ツリー検証することで推論速度を2〜3倍向上させる手法。
Google DeepMindが開発した医療特化型LLM。PaLM 2をベースに医療データで調整し、USMLEで専門医レベルの86.5%を達成した医療QAの最高精度モデルの一つ。
MEMIT（Mass-Editing Memory In a Transformer）とは、ROME を拡張し、数千〜数万件の事実知識を Transformer の複数層に同時に書き込む大規模知識編集手法である。2022年に MIT の Meng らが提案し、ROME の単一編集制約を克服した。
ROMEを拡張し、LLMに数千〜数万件の事実を一括で書き込める大規模知識編集フレームワーク。複数のFF層に分散してRank-1更新を適用することでスケールを実現する。