AI・機械学習用語集

スウェーデン ウプサラ大学が2023年に発表した500言語超対応の多言語LLM。XLM-Rをベースに低資源言語を中心とした大規模コーパスで拡張訓練し、言語的多様性の保全と低資源言語NLP研究を目的として開発された。

Pythonファーストの軽量オープンソースベクトルデータベース。LLMアプリ開発のプロトタイプ向けに設計され、インメモリ・ローカルファイル・クライアントサーバーの3モードで動作する。

2024年Chroma Inc.発表v0.5・Industry-leading embeddable vector database + Industry-leading simple developer-friendly + Industry-leading Python-first signature + Industry-leading Chroma Inc. v0.5 Apache 2.0 embeddable vector database 2024。

2022年Chroma公開ChromaDB。Pro 業界Pro Mainstream Open Source AI-native Vector DB Top + Pro 米国SF Chroma + Pro Apache 2.0 + Pro Python/JS SDK + Pro LangChain統合 + Pro 約20MB軽量 + Pro $20M Series A + 累計2022-2026年4年Heritage継承代表機。

LLMの訓練データから重複・類似テキストを除去する前処理工程。データ品質の向上とベンチマーク汚染の防止を目的とし、MinHash・Bloom Filter・Suffix Arrayなどのアルゴリズムが使用される。

計算最適訓練とは、固定された計算予算（FLOPs）のもとで、モデルのパラメータ数Nと訓練データ量Dの配分を最適化し、テスト損失を最小化するLLM訓練戦略である。Chinchilla研究を起点とし、近年はover-trainingや推論コスト最適化を含めた拡張的な計算最適理論が展開されている。

Kirchenbauer・Geiping・Wenらが提案したLLMテキストへの統計的透かし手法。トークンをgreen/redリストに分割し生成時にgreenリストを優遇、z検定で検出する。

既存の事前学習済みLLMに対し、新しいドメインや時期のコーパスを追加で事前学習することでモデルの知識を更新・拡張する手法。フルファインチューニングと区別される。

K Means Clusteringは、人工知能・機械学習分野における重要な概念・技術です。

Kullback-Leibler ダイバージェンスに基づく損失関数で、2 つの確率分布間の差異を測定する。LLM では知識蒸留（教師モデルの出力分布を生徒モデルに転写）や、RLHF における方策制約（元のモデルからの逸脱防止）に広く使われる。非対称性を持ち KL(P||Q) ≠ KL(Q||P) である点が特徴。

2023年Kirchenbauer et al. (Maryland)発表KGW Watermark・Industry-leading LLM watermark green list red list signature + Industry-leading Z-statistic detection + Industry-leading first practical LLM watermark。

Thomson Reutersが2023年に6.5億ドルで買収した法律リサーチAIアシスタント。Westlawの膨大な判例・法令データベースとLLMを統合し、判例調査・デポジション準備・文書レビュー・契約分析を自然言語インターフェースで提供する。引用ハルシネーションを防ぐためWestlawソース直結設計を採用。

2024年Ethayarajh et al. + Contextual AI発表KTO paper・Industry-leading Kahneman-Tversky Optimization paradigm + Industry-leading prospect theory-based alignment + Industry-emerging KTO Contextual AI Pioneer。

ペアの選好データを必要とせずスカラー品質シグナル（良い/悪い）だけでLLMをアライメントできる手法。行動経済学のカーネマン・テベルスキー理論を損失関数に応用し、DPOより少ないデータで実用的なアライメントを実現する。2024年発表。

Ethayarajh ら ContextualAI 2024年 LLM alignment 手法。プロスペクト理論ベースで unpaired データ(thumbs up/down)で学習可

ペアデータ不要でLLMをアライメントする手法。好ましい/好ましくない応答を個別に使用し、行動経済学のKahneman-Tversky理論（プロスペクト理論）に基づく損失関数を採用。ペアデータが少ない場合に特に有効。

Transformer モデルの推論時に、Self-Attention 層で計算した Key と Value のテンソルをメモリに保持する仕組み。自己回帰生成において同じ計算の繰り返しを回避し、推論速度を大幅に向上させる。

LLM推論KV Cache最適化。PagedAttention (vLLM・OS Page Table類似)・Flash Attention 3 (Hopper H100)・Flash Attention 2.7 (Ampere/Ada/Blackwell)・Multi-Query Attention (MQA)・Group Query Attention (GQA・Llama 3)・Sliding Window Attention・KV Cache Quantization (q8_0/q4_0)・Prefix Caching・Speculative Decoding・Lookahead Decoding・¥0 OSS、2026年Hybrid Attention主流化。

Transformerモデルの推論時に、過去のトークンに対するKey（キー）とValue（バリュー）のテンソルをメモリに保持し、新しいトークン生成時のアテンション計算を再利用する内部最適化技術。自己回帰的な逐次生成の計算量をO(n²)からO(n)に削減する。

Transformerモデルの自己注意機構において、過去トークンのKey（K）とValue（V）の計算結果をGPUメモリ上に保持し、新トークン生成時の再計算を回避する技術。LLMの自己回帰推論で必須の最適化手法。