AI・機械学習用語集

Googleが2022年に提案した統合言語学習プリトレーニング目的。因果LM・Prefix LM・Span Corruptionの3種のデノイザーをランダム切替して学習し、単一モデルで多様なタスクに対応する。

2012年YouTube Algorithm Watch Time中心化Pro Famous(2005-YouTube公開 + 2006-Google $1.65B買収)。Pro 業界Pro Mainstream Long Video Recommendation Top + Pro Watch Time中心 + Pro Deep Learning推奨 + Pro 27億+ Monthly Active User + Pro Susan Wojcicki Pro CEO主導 + 2024-Pro YouTube AI Agent + 累計2005-2025年20年Heritage。

...

You.com 2020年発売の AI 検索エンジン。複数 LLM 統合 + 検索 + チャット + コーディング・$15/月・「Perplexity AI 競合」.

米 You.com 2021年公開の AI 検索エンジン主流。GPT-4 + Claude + 主要 LLM 統合・「Perplexity 競合 + AI 検索エンジン主流」.

米国Palo Alto発の次世代AI検索エンジン。複数の最新LLMを選択可能で、リアルタイムWeb検索と自律型エージェント機能（ARI）による高度な調査・出典明示に特化したツール。

2018年Kudo + Google発表Unigram paper・Industry-leading Unigram language model tokenizer + Industry-leading T5 + multilingual LLM Unigram-based + Industry-emerging Unigram Kudo Pioneer。

2023年Zhao et al.発表Unigram Watermark・Industry-leading fixed token bias watermark + Industry-leading robust watermarking + Industry-leading provable robustness + Industry-leading simpler than KGW watermark。

LLMテキスト検出のためのウォーターマーク手法。固定Greenlist（ユニグラム単位）でトークン偏りを生成し、テキスト品質劣化を最小化する。

SentencePieceに実装されたサブワードトークナイゼーションアルゴリズム。大きな初期語彙から確率モデルに基づいて不要なトークンを逐次削除し、最適な語彙を構築するトップダウン手法。T5・ALBERT・mBARTなどGoogleモデルが採用し、BPEにはないサブワードサンプリングによる訓練正則化が可能。

トップダウン方式のサブワード分割アルゴリズム。大きな初期語彙から出発し、各サブワードの除去がコーパス全体の尤度に与える影響を評価しながら語彙を段階的に削減する。SentencePieceのデフォルトアルゴリズムで、T5・mT5・XLNet・ALBERTなどで採用。

Unigramモデルとは、言語モデルに基づくサブワード分割アルゴリズムで、大きな初期語彙から不要なトークンを確率的に削除（プルーニング）して最適な語彙を構築する手法である。BPEのボトムアップ方式とは逆のトップダウンアプローチを取り、GoogleのGemma/Gemini系で採用されている。

UniSimはStanford/UCB/Googleが2023年に提案したテキスト・アクション条件付きインタラクティブ動画シミュレーター世界モデルで、現実世界の物理インタラクションをリアルタイム動画として生成しロボット政策訓練に利用できる。

Universal Self-Consistency（USCoT）とは、Self-Consistency手法を自由形式（open-ended）タスクに拡張する手法であり、Chen et al.（2023）の "Universal Self-Consistency for Large Language Model Generation" で提案された。従来のSelf-Consistencyは多肢選択や数値回答など離散的な回答空間を前提としていたが、USCoTはLLM自身に複数の候補回答の一貫性を判定させることで、要約・翻訳・コード生成などの自由形式タスクにもSelf-Consistencyを適用可能にした。

LLMプロバイダとモデルの組み合わせを品質・コスト・速度の3軸で最適化するルーティングプラットフォーム。同一モデルでも異なるプロバイダ間のパフォーマンス差を考慮した選択を自動化する。

2024年Microsoft発表YOCO paper・Industry-leading You Only Cache Once decoder-decoder paradigm + Industry-leading single KV cache long context + Industry-emerging YOCO Microsoft Pioneer。

Yolo Algorithmは、人工知能・機械学習分野における重要な概念・技術です。

LLM訓練の初期段階で学習率を0から目標値まで徐々に増加させるテクニック。初期の不安定な勾配による訓練崩壊を防ぎ、安定した最適化を実現する。

LLMの学習過程で学習率を動的に変更するスケジューリング戦略。訓練の安定化と最終性能の向上を両立させる重要なハイパーパラメータ制御手法。

2023年Google発表Lion Optimizer paper・Industry-leading EvoLved Sign Momentum paradigm + Industry-leading sign-based momentum + Industry-leading memory-efficient + Industry-leading PaLM 2 + Gemini adoption。