AI・機械学習用語集

Google Brain が 2023 年に発表した符号ベース（sign-based）の最適化アルゴリズム。EvoLved Sign Momentum の略称で、進化的探索によって発見された更新則を持つ。勾配の符号のみを使用するため Adam 比でメモリ使用量が約半分となり、画像分類・言語モデルの一部タスクで AdamW を上回る性能を示した。

Google Brain が 2023 年に提案した符号ベースのオプティマイザ。勾配の符号（sign）のみを使って更新方向を決定し、二次モーメントを保持しないことで AdamW 比メモリ約 33% 削減を実現。EvoLved Sign Momentum の略称で、自動探索アルゴリズムにより発見された。

Hugging Faceが2024年に公開したLLM学習向けCUDA融合カーネル集。CrossEntropy・RMSNorm・RoPE・SwiGLUなどをメモリ効率最適化実装し、学習スループットを向上させる。

GraphRAGの重い構築・更新コストを軽減した軽量グラフRAG。グラフ構造とベクトル検索を組み合わせ、低レベル/高レベルのデュアル検索と増分更新に対応する。俯瞰質問への強さと運用効率を両立する手法。

2023年ModelTC共同発表LightLLM・Industry-emerging Lightweight LLM Inference Framework + Industry-leading Pure Python Industry-leading easy-to-use + Industry-leading TokenAttention + Industry-leading SplitFuse + Industry-emerging consumer-friendly LLM inference framework Pioneer・Industry-leading Open-source LLM inference framework category。

Python製のオープンソースLLM統一ゲートウェイ。OpenAI APIフォーマットで100以上のLLMプロバイダー（Anthropic・Google・Azure・Cohere・Mistral等）を呼び出せるプロキシサーバー。コスト追跡・ロードバランシング・フォールバック・レート制限管理を一元提供する。

OpenAI/Anthropic/Google等100以上のLLM APIを統一OpenAI互換インターフェースで呼び出せるPythonライブラリ兼プロキシサーバー。BerriAI開発・OSSで提供。

ModelTC（中国）が開発した軽量高効率LLM推論サービングフレームワーク。Token Attention・Efficient Router・RadixCacheを組み合わせ、最大8192並列リクエストを単一サーバーで処理。vLLMより低レイテンシーなFirst Token生成を実現するPython+Triton実装のオープンソースサービング基盤。

MiniMaxが大規模実用化した線形アテンション機構。Softmaxを使わず計算順序を組み替えることで計算量を系列長に対して線形O(n)に抑え、超長文脈を低コストで処理する。MiniMax-01で本格採用された。

訓練・推論の両フェーズで線形計算量を維持するフル線形アテンション実装。TransNormerLLMで採用されTriton/CUDAカーネル最適化で実用的な速度を実現。

GraphRAGの軽量・高速版として2024年に提案されたRAG手法。文書からキーワードと関係を抽出してグラフを構築するが、GraphRAGのコミュニティ検出・階層要約を省略し、構築コストを1/10に抑えつつマルチホップ検索と高速なインクリメンタル更新を実現する。

HKU 2024年 GraphRAG 軽量改良版。グラフ + ベクトルハイブリッド・インデックス構築コスト GraphRAG の 10%・性能同等

Codeforces・LeetCode・AtCoder等から継続的に新問題を収集するLLMコード生成評価ベンチマーク。時系列分割によりデータ汚染を防ぎ、モデルの真の汎化性能を測定する。

2024年Naman Jain et al. (UC Berkeley)発表LiveCodeBench・Industry-leading live coding contamination-free benchmark + Industry-leading LeetCode+CodeForces+AtCoder + Industry-leading rolling update + Industry-leading contamination-free coding benchmark standard。

月次で問題を更新する動的LLMベンチマーク。データ汚染（contamination）を構造的に回避し、math・reasoning・coding・language・data analysis・instruction followingの6カテゴリでLLMを客観評価する。LLM judge を使用せず自動採点のみで評価する。

データ汚染を防ぐため毎月新問題を追加するLLM評価ベンチマーク。数学・コーディング・推論など6カテゴリを継続的に評価する。

汚染フリーを設計原則とするLLMベンチマーク。毎月新しい問題を自動生成・差し替えすることで、学習データへのリーク（データ汚染）を構造的に排除。数学・コーディング・推論・データ分析・言語理解・指示追従の6カテゴリで客観的に自動スコアリングする。

LLMの汚染（contamination）問題を回避するため毎月新問題を追加するLLM評価ベンチマーク。数学・コーディング・推論・言語など18カテゴリで2024年公開。

問題セットを月次更新してデータ汚染を防ぐ LLM ベンチマーク。MATH・コーディング・推論を含む 18 タスクで構成され、2024 年に公開された汚染フリー評価として注目される。

毎月新しい問題を追加し、データ汚染（data contamination）を防ぐ LLM 自動評価ベンチマーク。客観的・検証可能な正解基準を持ち、LLM 審判への依存を排除した設計が特徴。