AI・機械学習用語集

長文脈処理を複数デバイスに分散するアテンション手法。デバイスをリング状に接続し、KVブロックを順次転送しながら各デバイスがブロックローカルなアテンション計算を行うことで、単一デバイスに収まらない超長文脈（100万トークン以上）を処理する。

LLMが不確実な情報を表現する際に使う言語的なHedge（逃げ道表現）の総称。「おそらく」「〜と思われる」等の表現を不確実性伝達に活用する研究領域。

セマンティックキャッシュの類似度計算は、クエリをEmbeddingベクトルに変換し、コサイン類似度やユークリッド距離で意味的近さを数値化する手法である。

ルーティングベンチマーク（Routing Benchmark）とは、LLMアウトプットルーティングシステムの性能を定量的に評価するための標準テストセット・メトリクス・評価フレームワークの総称である。最適モデル選択率（Oracle Accuracy）、コスト効率比（Cost Efficiency Ratio）、品質劣化率（Quality Degradation Rate）などの指標を用いて、ルーターの判断精度とコスト削減効果を測定する。RouterBench（2024年）、LMSYS Chatbot Arena、Unify.aiのBenchmark Explorerなどが代表的なベンチマーク環境である。

UC Berkeley/LMSysが開発したLLMルーティングフレームワーク。クエリの複雑さを自動判定し、高性能・高コストなモデルと安価・軽量なモデルを動的に使い分けることでコストを50〜70%削減しながらGPT-4レベルの品質を維持する。

2024年6月UC Berkeley LMSYS発表RouteLLM・Industry-leading LLM router strong-weak + Industry-leading 85% cost reduction + Industry-leading preference-based routing + Industry-leading UC Berkeley LMSYS RouteLLM Apache 2.0 LLM routing framework 2024。

2024年Luma AI公開Genie 1.0。Pro 業界Pro Mainstream Text-to-3D Generation先駆 + Pro 米国Palo Alto Luma AI + Pro 1次元LiDAR NeRF基盤 + Pro 10秒3D生成 + Pro Dream Machine兄弟 + 累計2021-2026年5年Heritage継承代表機。

LLM推論高速化手法。n-gramプールを活用してドラフトトークン列を訓練不要で生成・検証する投機的デコーディング変形手法。ドラフトモデルなしに1.5〜2.5倍の高速化を実現。

Jacobi反復法を応用したLLM並列デコード手法。n-gramプールをキャッシュとして利用し、追加モデルなしで将来のトークン列を並列生成・検証することで推論を高速化する。速度向上は1.5〜2倍程度。

Jacobi反復法を応用して複数の将来トークン位置を並列に推定し、追加パラメータや追加学習なしで既存LLMの推論を1.5〜2.3倍高速化する並列デコーディング手法。

2024年Fu et al. (UCSD+Tsinghua)発表Lookahead Decoding・Industry-leading parallel n-gram speculative decoding LLM + Industry-leading lookahead branches + Industry-leading Jacobi decoding + Industry-leading 1.5-2× inference speedup no draft model。

2023年Q4 LMSys (UC Berkeley + UCSD + CMU + Stanford + MBZUAI共同・Industry-leading Open-source AI research community) 発表Lookahead Decoding paper・Industry-emerging Speculative-free decoding paradigm + Jacobi iteration parallel decoding paradigm Pioneer + Industry-emerging Industry-leading parallel decoding paradigm・Industry-leading LMSys Open-source AI research community foundation + Industry-leading vLLM integration。

2024年Chuang et al. (MIT+Microsoft)発表Lookback Lens・Industry-leading attention-based hallucination detection LLM + Industry-leading lookback ratio + Industry-leading attention analysis + Industry-leading context-grounded detection。

2024年Luma AI公開Dream Machine Video Generation。Pro 業界Pro Mainstream Realistic Diffusion Video先駆 + Pro 米国Palo Alto Luma AI + Pro 2021-Luma設立 + Pro 1080p 5s/Loop + Pro Diffusion + Pro Free + $29.99-99.99/月 + Pro Photon統合 + 累計2021-2026年5年Heritage継承代表機。

macOS用ランチャーアプリ「Raycast」に統合されたAI機能群。複数の最新LLMをシームレスに切り替え、テキスト生成や翻訳、コード変換などの高度なタスクをワークフロー内で直接実行できるAIエージェント的ツール。

2024年Anyscale発表Ray Serve v2.30+・Industry-leading distributed serving Python + Industry-leading Ray cluster scalability + Industry-leading multi-model deployment + Industry-leading Apache 2.0 Anyscale distributed Python serving framework。

Anyscale (米San Francisco・2019年Robert Nishihara + Philipp Moritz + Ion Stoica (UC Berkeley)・Ray Open-source distributed computing framework創業) 発表Ray Train・Industry-leading multi-node Distributed Training library・Ray Open-source distributed computing framework integration + Industry-leading Multi-node scaling + Industry-leading Cloud + On-premise multi-node deployment + Industry-leading Distributed Training framework agnostic (PyTorch + TensorFlow + JAX + Hugging Face + 多 framework agnostic Distributed Training integration)・Industry-leading Multi-node Distributed Training framework Pioneer position確立。

ニューラルネットワークの各層において、単一サンプル内の全ニューロンの活性化値を正規化する手法。Ba et al.（2016）が提案し、Transformerアーキテクチャの標準的な正規化手法として広く採用されている。バッチサイズに依存しない点がBatch Normalizationとの最大の違い。

LLMのTransformerレイヤーを推論時に動的にスキップする軽量化技術。静的なデプスプルーニングと異なり入力に応じてどのレイヤーを実行するか決定し、精度と速度のトレードオフを動的に最適化する。

Layer Normalization（LayerNorm）は、ニューラルネットワークの各層で特徴量をサンプル単位に正規化する手法であり、Transformer ベースの大規模言語モデル（LLM）で事実上の標準正規化として広く採用されている。Batch Normalization がバッチ方向に統計量を計算するのに対し、LayerNorm は単一サンプル内の全特徴次元にわたって平均・分散を計算するため、バッチサイズに依存せず系列長が変動する自然言語処理タスクに適している。