AI・機械学習

LLMテキスト検出のためのウォーターマーク手法。固定Greenlist（ユニグラム単位）でトークン偏りを生成し、テキスト品質劣化を最小化する。

SentencePieceに実装されたサブワードトークナイゼーションアルゴリズム。大きな初期語彙から確率モデルに基づいて不要なトークンを逐次削除し、最適な語彙を構築するトップダウン手法。T5・ALBERT・mBARTなどGoogleモデルが採用し、BPEにはないサブワードサンプリングによる訓練正則化が可能。

トップダウン方式のサブワード分割アルゴリズム。大きな初期語彙から出発し、各サブワードの除去がコーパス全体の尤度に与える影響を評価しながら語彙を段階的に削減する。SentencePieceのデフォルトアルゴリズムで、T5・mT5・XLNet・ALBERTなどで採用。

Unigramモデルとは、言語モデルに基づくサブワード分割アルゴリズムで、大きな初期語彙から不要なトークンを確率的に削除（プルーニング）して最適な語彙を構築する手法である。BPEのボトムアップ方式とは逆のトップダウンアプローチを取り、GoogleのGemma/Gemini系で採用されている。

UniSimはStanford/UCB/Googleが2023年に提案したテキスト・アクション条件付きインタラクティブ動画シミュレーター世界モデルで、現実世界の物理インタラクションをリアルタイム動画として生成しロボット政策訓練に利用できる。

Universal Self-Consistency（USCoT）とは、Self-Consistency手法を自由形式（open-ended）タスクに拡張する手法であり、Chen et al.（2023）の "Universal Self-Consistency for Large Language Model Generation" で提案された。従来のSelf-Consistencyは多肢選択や数値回答など離散的な回答空間を前提としていたが、USCoTはLLM自身に複数の候補回答の一貫性を判定させることで、要約・翻訳・コード生成などの自由形式タスクにもSelf-Consistencyを適用可能にした。

LLMプロバイダとモデルの組み合わせを品質・コスト・速度の3軸で最適化するルーティングプラットフォーム。同一モデルでも異なるプロバイダ間のパフォーマンス差を考慮した選択を自動化する。

LLM訓練の初期段階で学習率を0から目標値まで徐々に増加させるテクニック。初期の不安定な勾配による訓練崩壊を防ぎ、安定した最適化を実現する。

LLMの学習過程で学習率を動的に変更するスケジューリング戦略。訓練の安定化と最終性能の向上を両立させる重要なハイパーパラメータ制御手法。

2023年Google発表Lion Optimizer paper・Industry-leading EvoLved Sign Momentum paradigm + Industry-leading sign-based momentum + Industry-leading memory-efficient + Industry-leading PaLM 2 + Gemini adoption。

Google Brain が 2023 年に発表した符号ベース（sign-based）の最適化アルゴリズム。EvoLved Sign Momentum の略称で、進化的探索によって発見された更新則を持つ。勾配の符号のみを使用するため Adam 比でメモリ使用量が約半分となり、画像分類・言語モデルの一部タスクで AdamW を上回る性能を示した。

Google Brain が 2023 年に提案した符号ベースのオプティマイザ。勾配の符号（sign）のみを使って更新方向を決定し、二次モーメントを保持しないことで AdamW 比メモリ約 33% 削減を実現。EvoLved Sign Momentum の略称で、自動探索アルゴリズムにより発見された。

Hugging Faceが2024年に公開したLLM学習向けCUDA融合カーネル集。CrossEntropy・RMSNorm・RoPE・SwiGLUなどをメモリ効率最適化実装し、学習スループットを向上させる。

GraphRAGの重い構築・更新コストを軽減した軽量グラフRAG。グラフ構造とベクトル検索を組み合わせ、低レベル/高レベルのデュアル検索と増分更新に対応する。俯瞰質問への強さと運用効率を両立する手法。

2023年ModelTC共同発表LightLLM・Industry-emerging Lightweight LLM Inference Framework + Industry-leading Pure Python Industry-leading easy-to-use + Industry-leading TokenAttention + Industry-leading SplitFuse + Industry-emerging consumer-friendly LLM inference framework Pioneer・Industry-leading Open-source LLM inference framework category。

Python製のオープンソースLLM統一ゲートウェイ。OpenAI APIフォーマットで100以上のLLMプロバイダー（Anthropic・Google・Azure・Cohere・Mistral等）を呼び出せるプロキシサーバー。コスト追跡・ロードバランシング・フォールバック・レート制限管理を一元提供する。

OpenAI/Anthropic/Google等100以上のLLM APIを統一OpenAI互換インターフェースで呼び出せるPythonライブラリ兼プロキシサーバー。BerriAI開発・OSSで提供。

ModelTC（中国）が開発した軽量高効率LLM推論サービングフレームワーク。Token Attention・Efficient Router・RadixCacheを組み合わせ、最大8192並列リクエストを単一サーバーで処理。vLLMより低レイテンシーなFirst Token生成を実現するPython+Triton実装のオープンソースサービング基盤。

MiniMaxが大規模実用化した線形アテンション機構。Softmaxを使わず計算順序を組み替えることで計算量を系列長に対して線形O(n)に抑え、超長文脈を低コストで処理する。MiniMax-01で本格採用された。

訓練・推論の両フェーズで線形計算量を維持するフル線形アテンション実装。TransNormerLLMで採用されTriton/CUDAカーネル最適化で実用的な速度を実現。