2472件の用語
xAI（Elon Musk設立）が2024年3月にオープンソース公開した314Bパラメータ（アクティブ86B）のMixture-of-Experts大規模言語モデル。8個のエキスパートからTop-2を選択するMoEアーキテクチャで、公開時点でオープンソース最大のLLMだった。Apache 2.0ライセンス。
2024年3月xAI発表Grok-1・Industry-leading 314B total + 79B active MoE + Industry-leading 8-expert MoE + Industry-leading Apache 2.0 open-weight + Industry-leading xAI Grok-1 Apache 2.0 314B open-weight MoE LLM 2024。
2024年xAI (Elon Musk + Igor Babuschkin)発表Grok-1 MoE・Industry-leading 8 experts top-2 routing + Industry-leading 314B params/86B active + Industry-leading xAI flagship MoE + Industry-leading Apache 2.0 largest open MoE 2024。
スウェーデン ウプサラ大学が2023年に発表した500言語超対応の多言語LLM。XLM-Rをベースに低資源言語を中心とした大規模コーパスで拡張訓練し、言語的多様性の保全と低資源言語NLP研究を目的として開発された。
Pythonファーストの軽量オープンソースベクトルデータベース。LLMアプリ開発のプロトタイプ向けに設計され、インメモリ・ローカルファイル・クライアントサーバーの3モードで動作する。
2024年Chroma Inc.発表v0.5・Industry-leading embeddable vector database + Industry-leading simple developer-friendly + Industry-leading Python-first signature + Industry-leading Chroma Inc. v0.5 Apache 2.0 embeddable vector database 2024。
2022年Chroma公開ChromaDB。Pro 業界Pro Mainstream Open Source AI-native Vector DB Top + Pro 米国SF Chroma + Pro Apache 2.0 + Pro Python/JS SDK + Pro LangChain統合 + Pro 約20MB軽量 + Pro $20M Series A + 累計2022-2026年4年Heritage継承代表機。
Kirchenbauer・Geiping・Wenらが提案したLLMテキストへの統計的透かし手法。トークンをgreen/redリストに分割し生成時にgreenリストを優遇、z検定で検出する。
K Means Clusteringは、人工知能・機械学習分野における重要な概念・技術です。
Kullback-Leibler ダイバージェンスに基づく損失関数で、2 つの確率分布間の差異を測定する。LLM では知識蒸留（教師モデルの出力分布を生徒モデルに転写）や、RLHF における方策制約（元のモデルからの逸脱防止）に広く使われる。非対称性を持ち KL(P||Q) ≠ KL(Q||P) である点が特徴。
2023年Kirchenbauer et al. (Maryland)発表KGW Watermark・Industry-leading LLM watermark green list red list signature + Industry-leading Z-statistic detection + Industry-leading first practical LLM watermark。
Thomson Reutersが2023年に6.5億ドルで買収した法律リサーチAIアシスタント。Westlawの膨大な判例・法令データベースとLLMを統合し、判例調査・デポジション準備・文書レビュー・契約分析を自然言語インターフェースで提供する。引用ハルシネーションを防ぐためWestlawソース直結設計を採用。
2024年Ethayarajh et al. + Contextual AI発表KTO paper・Industry-leading Kahneman-Tversky Optimization paradigm + Industry-leading prospect theory-based alignment + Industry-emerging KTO Contextual AI Pioneer。
ペアの選好データを必要とせずスカラー品質シグナル（良い/悪い）だけでLLMをアライメントできる手法。行動経済学のカーネマン・テベルスキー理論を損失関数に応用し、DPOより少ないデータで実用的なアライメントを実現する。2024年発表。
Ethayarajh ら ContextualAI 2024年 LLM alignment 手法。プロスペクト理論ベースで unpaired データ(thumbs up/down)で学習可
ペアデータ不要でLLMをアライメントする手法。好ましい/好ましくない応答を個別に使用し、行動経済学のKahneman-Tversky理論（プロスペクト理論）に基づく損失関数を採用。ペアデータが少ない場合に特に有効。
Transformer モデルの推論時に、Self-Attention 層で計算した Key と Value のテンソルをメモリに保持する仕組み。自己回帰生成において同じ計算の繰り返しを回避し、推論速度を大幅に向上させる。
LLM推論KV Cache最適化。PagedAttention (vLLM・OS Page Table類似)・Flash Attention 3 (Hopper H100)・Flash Attention 2.7 (Ampere/Ada/Blackwell)・Multi-Query Attention (MQA)・Group Query Attention (GQA・Llama 3)・Sliding Window Attention・KV Cache Quantization (q8_0/q4_0)・Prefix Caching・Speculative Decoding・Lookahead Decoding・¥0 OSS、2026年Hybrid Attention主流化。
Transformerモデルの推論時に、過去のトークンに対するKey（キー）とValue（バリュー）のテンソルをメモリに保持し、新しいトークン生成時のアテンション計算を再利用する内部最適化技術。自己回帰的な逐次生成の計算量をO(n²)からO(n)に削減する。
Transformerモデルの自己注意機構において、過去トークンのKey（K）とValue（V）の計算結果をGPUメモリ上に保持し、新トークン生成時の再計算を回避する技術。LLMの自己回帰推論で必須の最適化手法。