1978件の用語
Hugging Faceが開発したシンプル・軽量なLLMエージェントライブラリ。CodeAgent（Pythonコードを生成・実行）とToolCallingAgent（JSON形式ツール呼び出し）の2種類のエージェントを提供し、HF Hubのモデルと直接統合できる。
2024年Q4 Hugging Face (フランス + 米San Francisco・2016年Clément Delangue + 多creators創業・Industry-leading Open-source AI platform + Industry-leading Open-source ML model hub・累計売上$50M+/year・$4B valuation 2024年・Industry-leading Open-source AI ecosystem dominant brand position確立) 発表SmolAgents・Industry-leading Lightweight Agent framework・Industry-emerging Lightweight Agent framework Pioneer 2024年Q4 release + Industry-leading Hugging Face Hub model integration + Multi-LLM agnostic + Industry-leading minimal dependency + Industry-leading Lightweight Agent Open-source Pioneer position。
Hugging Faceが2024年11月に公開した超小型言語モデルファミリー。135M・360M・1.7Bの3サイズで、ブラウザ上のWebLLMやスマートフォンでのオンデバイス推論を主目的とする。
2024年Ashkboos et al. (ETH Zurich+Microsoft)発表SliceGPT・Industry-leading structured pruning LLM + Industry-leading PCA-based slicing + Industry-leading orthogonal transformation + Industry-leading 25-30% reduction LLaMA-2 70B/Phi-2。
SliceGPTはMicrosoft Researchが2024年に発表したLLM向け構造化プルーニング手法。行列スライシング（次元削減）によってTransformerの隠れ次元dmodelを削減し、再学習なしで20〜30%のパラメータ削減を達成しながら推論高速化を実現する。SparseGPT・Wandaの非構造化スパース化と異なり、削除後のモデルは標準的な密行列として実行できる。
Transformerの各トークンがアテンションを計算する範囲を固定ウィンドウサイズに制限する手法。全トークン間のアテンション計算（O(n²)）を局所範囲に限定することで長文脈処理を効率化する。
2024年2月14日Salesforce/Slack公開Slack AI。Pro 業界Pro Mainstream Chat SaaS AI Top + Pro Channel Recap Pro Famous + Pro Conversation Summary + Pro $10/月/User + Pro Salesforce買収 + 2024-09 Pro Slack AI Translation + 2025-Pro Agentforce統合 + 累計2024-2025年Heritage。
LLM大規模訓練の3つの並列化戦略の組み合わせ。データ並列（DP）・テンソル並列（TP）・パイプライン並列（PP）を同時に適用し、数千GPUでの効率的な訓練を実現する。Megatron-LMとDeepSpeedで実装されGPT-3規模以上のモデル訓練の標準手法。
清華大学らが2024年に提案した、アテンション計算をINT8/低ビットへ量子化して高速化する手法。スムージングと精密なスケーリングでSoftmax前後の精度を保ちつつ、FlashAttention比で大幅な高速化を実現するプラグイン型カーネル。
2016年9月19日Salesforce公開Einstein。Pro 業界初Mainstream CRM SaaS AI Top先駆 + Pro Predictive AI出発点 + Pro Marc Benioff Pro CEO主導 + Pro Sales/Service/Marketing Cloud統合 + 2024-Pro Einstein 1 Studio + 2024-Pro Agentforce + 2025-Pro Agentforce 2 + 累計2016-2025年9年Heritage。
LLMが他者の信念・意図・欲求・知識状態を推論する能力。人間の社会的認知の中核であり、AIの社会的知性の評価指標として注目。
Sesame AIが開発した1Bパラメータの会話特化音声モデル（Conversational Speech Model）。自然な会話の間・相づち・文脈認識を持つ音声合成を実現。
2024年Zed Industries公開Zed Editor Native Rust製AI Code Editor。Pro 業界Pro Mainstream Native Rust製AI Code Editor先駆 + Pro 米国Berkeley Zed Industries + Pro 2021-Zed Industries設立 + Pro Native Rust + GPU加速 + Pro Multi-buffer + Pro Free + $20/月Pro + 累計2021-2026年5年Heritage継承代表機。
LLM学習の安定化のためにロジット値の絶対値を正則化する補助損失。PaLMで導入され、MoEモデルのルーター崩壊防止にも活用される。
2024年Zep AI公開Zep Cloud。Pro 業界Pro Mainstream商用Long-term Memory + Pro 米国Hawthorne Zep AI + Pro 2023-Zep AI設立Daniel Chalef + Pro Knowledge Graph + Pro Temporal Knowledge Graph + Pro Cypher Query + Pro Neo4jベース + Pro $0.01/Memory + 累計2023-2026年3年Heritage継承代表機。
LLMの複数サンプルを意味クラスタにグループ化し、意味的なばらつき度合いでハルシネーションを確率論的に検出する手法（Kuhn et al. 2023）。字句ではなく意味の不確実性を測定。
2023年Hou et al.発表SemStamp Watermark・Industry-leading semantic-level watermark + Industry-leading sentence-level stamp + Industry-leading paraphrase robustness + Industry-leading first semantic LLM watermark。
Self-Reflective RAG。LLMが検索の要否・検索結果の関連性・回答の根拠充足を「リフレクショントークン」で自己評価しながら生成するRAG手法。不要な検索を省き、根拠に基づく回答品質を高める。
LLM自身を使って指示データを自動生成するフレームワーク。Wang et al. 2022年提案。少数のシードタスクからLLMが新たな指示・入力・出力を生成し、品質フィルタリング後に自分自身のファインチューニングに使う。
LLM自身に指示データを自動生成させるブートストラップ手法。少量のシードタスクから大量の多様な指示・応答ペアを生成し、そのデータで自己改善ファインチューニングを行う。