AI・機械学習用語集

2019年Typesense Inc公開Typesense。Pro 業界Pro Mainstream Open Source Instant Search Top + Pro 米国SF Typesense + Pro Jason Bosco Pro Co-founder + Pro GPL-3 → Apache 2.0 + Pro C++実装 + Pro Algolia代替先駆 + Pro Vector Search対応 + Pro $25M Series B + 累計2017-2026年9年Heritage継承代表機。

2024年Typesense 29 GA。Vector Search+HNSW Index+Hybrid Query+Search-as-you-type+Tokenization 100+languages+Geosearch+Cluster高可用性+Filter Optimization搭載。

DIAMONDはGeneva大学らが2024年に提案した拡散モデルベースの世界モデルで、Atariゲームにおいてゲームエンジン不要のまま人間超えスコアを達成し拡散モデルの強化学習応用に道を開いた。

DPO（Direct Preference Optimization）は、報酬モデルを明示的に学習せずに人間の選好データから直接LLMを最適化する手法で、RLHFの簡略化代替として2023年にStanford大学が提案した

複数の言語を効率的にトークン分割するための設計戦略。語彙配分、文字カバレッジ、スクリプト固有の前処理を最適化し、言語間のトークン効率格差を最小化する技術。

学習率を多項式関数 η(t) = (η₀ - η_end) × (1 - t/T)^p + η_end に基づいて減衰させるスケジューリング手法。冪指数 p を調整することで線形（p=1）から二次（p=2）、さらに急峻な減衰まで柔軟に制御できる。BERT・T5・mT5 など Google 系モデルの訓練で広く採用されてきた。

LLMエージェントが複雑な目標を実行可能なサブタスクに分割するプロセス。階層的分解、逐次分解、適応的分解の3種類があり、エージェントの計画能力の根幹を成す技術である。

Mehrotra et al.（2023）が提案したPAIRの改良版jailbreak手法。木構造の探索とPruning（枝刈り）を組み合わせ、有望でないプロンプト候補を早期に除去しながら効率的にjailbreak promptを探索する。PAIRより少ないクエリ数で高い成功率を達成する。

Avi Schiffmannが2024年に公開したAI会話コンパニオン型ウェアラブル。首に掛けたペンダントが日常会話を聞き、ユーザーの生活をより良く理解するパーソナルAIとして機能する。

2024年Q3 Tab Inc. (米San Francisco・2024年Avi Schiffmann直接競合 Personal Memory AI startup・Friend AI Pendant類似 hardware approach + 差別化Productivity focus + Memory-first positioning) 発表のTab AI Necklace・$99 standard hardware + $19/月 subscription (Limitless / Bee / Friend同 price-tier・Productivity AI Wearable positioning)・Always-listening Necklace form factor (Pendant strap改良 + Necklace wear style + 36 hour battery + Multi-day continuous wear便利性向上) + Personal Memory AI (All conversations + Meetings + Calls comprehensive recall + Multi-day conversation memory + Search across entire conversation history + Conversational query interface "What did I say about X yesterday?") + Multi-language + Cloud processing・Memory-first user segment + Knowledge worker memory augmentation needs。

Tabnine 2018年発売の AI コーディング補完 AI。プライバシー重視 + オンプレミス対応・$12/月・「企業向け AI コーディング」.

大量破壊兵器関連の危険知識をLLMから除去する能力を評価するベンチマーク。生物・化学・サイバー兵器分野の危険知識除去を測定する。

GRPOを改良したLLMポストトレーニング手法。クリッピングを非対称化しトークンレベルで損失を正規化することで、訓練の安定性とエントロピー管理を向上させる。QwenチームがQwen2.5-Math等の訓練に採用。

OpenAI が2021年1月発表したテキスト→画像生成AI。GPT-3 の派生 12B params、Transformer ベース・画像生成AI 時代の幕開け。

OpenAI 2023年10月発表のDALL-E 第3世代。ChatGPT Plus / Bing Image Creator 統合・プロンプト解釈大幅改善・写実度業界最高水準。

OpenAI 2022年4月発表のテキスト→画像生成AI 第2世代。35億params・unCLIP アーキ・1024×1024 出力、商用ChatGPT 統合の前身モデル。

Unbabelが開発した翻訳特化型大規模言語モデル。Llama 2ベースで多言語継続学習を行い、一般LLMより高精度な機械翻訳を実現する2024年公開のオープンソースモデル。

Fisher情報行列を用いて過去タスクで重要なパラメータを特定し、それらの変化にペナルティを課すことで壊滅的忘却を防ぐ継続学習手法。Kirkpatrickら（2017年）が提唱。

LLM に対して最終回答の前に中間的な推論ステップを段階的に記述させることで、複雑な問題の正答率を大幅に向上させるプロンプティング手法。Google Research が 2022 年に提唱。

LLMに推論の過程をステップバイステップで出力させることで、複雑な問題の正答率を大幅に向上させるプロンプティング手法。「Let's think step by step」という一文を追加するだけで算数・論理・常識推論の精度が10〜40%改善されることが Google Research（2022年）により示された。