1978件の用語
2024年Q4 Google Research発表Titan・Transformer + Long-Term Memory Module hybrid architecture・Industry-emerging long-term memory architecture paradigm・2M+ tokens context length + Industry-leading long-term memory module + Industry-emerging Transformer Memory paradigm Pioneer + Google Research Industry-leading academic paper foundation。
Googleが2025年に発表したTransformerの拡張アーキテクチャ。テスト時にニューラル長期記憶モジュールを動的更新し、2Mトークン超のコンテキストをO(n)以下で処理できる。
LLMデコーディングにおいてトークン確率分布のエントロピーに応じて温度パラメータを動的に調整するサンプリング手法。固定温度より自然で一貫性の高い出力を実現し、llama.cppやLM Studioで実装されるDynatempが代表例。
2020年Huawei Noah's Ark Lab + Jiao et al.発表TinyBERT paper・Industry-leading 2-Stage BERT Distillation paradigm + Industry-leading 7.5x smaller + 9.4x faster + 96% BERT performance + Industry-leading General Distillation + Task Distillation 2-stage paradigm Pioneer。
2019年Jiao et al. (Huawei)発表TinyBERT・Industry-leading 2-stage knowledge distillation LLM + Industry-leading 7.5× smaller BERT + Industry-leading attention transfer + Industry-leading 96.8% BERT performance retained。
Zhang et al.（2024）が公開した1.1Bパラメータの超軽量LLM。Llama2アーキテクチャをベースにSlimPajama・Starcoderデータで3兆トークン事前訓練し、同サイズクラスで最高水準の性能を達成したオープンソース小型モデル。
Beam Searchを拡張し複数のビームグループ間に「差異ペナルティ」を導入して多様な候補を並列生成するデコーディング手法。翻訳・要約・質問生成など複数の高品質候補が必要なタスクで使用される。
2019年Typesense Inc公開Typesense。Pro 業界Pro Mainstream Open Source Instant Search Top + Pro 米国SF Typesense + Pro Jason Bosco Pro Co-founder + Pro GPL-3 → Apache 2.0 + Pro C++実装 + Pro Algolia代替先駆 + Pro Vector Search対応 + Pro $25M Series B + 累計2017-2026年9年Heritage継承代表機。
2024年Typesense 29 GA。Vector Search+HNSW Index+Hybrid Query+Search-as-you-type+Tokenization 100+languages+Geosearch+Cluster高可用性+Filter Optimization搭載。
DIAMONDはGeneva大学らが2024年に提案した拡散モデルベースの世界モデルで、Atariゲームにおいてゲームエンジン不要のまま人間超えスコアを達成し拡散モデルの強化学習応用に道を開いた。
Mehrotra et al.（2023）が提案したPAIRの改良版jailbreak手法。木構造の探索とPruning（枝刈り）を組み合わせ、有望でないプロンプト候補を早期に除去しながら効率的にjailbreak promptを探索する。PAIRより少ないクエリ数で高い成功率を達成する。
Avi Schiffmannが2024年に公開したAI会話コンパニオン型ウェアラブル。首に掛けたペンダントが日常会話を聞き、ユーザーの生活をより良く理解するパーソナルAIとして機能する。
2024年Q3 Tab Inc. (米San Francisco・2024年Avi Schiffmann直接競合 Personal Memory AI startup・Friend AI Pendant類似 hardware approach + 差別化Productivity focus + Memory-first positioning) 発表のTab AI Necklace・$99 standard hardware + $19/月 subscription (Limitless / Bee / Friend同 price-tier・Productivity AI Wearable positioning)・Always-listening Necklace form factor (Pendant strap改良 + Necklace wear style + 36 hour battery + Multi-day continuous wear便利性向上) + Personal Memory AI (All conversations + Meetings + Calls comprehensive recall + Multi-day conversation memory + Search across entire conversation history + Conversational query interface "What did I say about X yesterday?") + Multi-language + Cloud processing・Memory-first user segment + Knowledge worker memory augmentation needs。
Tabnine 2018年発売の AI コーディング補完 AI。プライバシー重視 + オンプレミス対応・$12/月・「企業向け AI コーディング」.
大量破壊兵器関連の危険知識をLLMから除去する能力を評価するベンチマーク。生物・化学・サイバー兵器分野の危険知識除去を測定する。
GRPOを改良したLLMポストトレーニング手法。クリッピングを非対称化しトークンレベルで損失を正規化することで、訓練の安定性とエントロピー管理を向上させる。QwenチームがQwen2.5-Math等の訓練に採用。
OpenAI が2021年1月発表したテキスト→画像生成AI。GPT-3 の派生 12B params、Transformer ベース・画像生成AI 時代の幕開け。
OpenAI 2023年10月発表のDALL-E 第3世代。ChatGPT Plus / Bing Image Creator 統合・プロンプト解釈大幅改善・写実度業界最高水準。
OpenAI 2022年4月発表のテキスト→画像生成AI 第2世代。35億params・unCLIP アーキ・1024×1024 出力、商用ChatGPT 統合の前身モデル。
Unbabelが開発した翻訳特化型大規模言語モデル。Llama 2ベースで多言語継続学習を行い、一般LLMより高精度な機械翻訳を実現する2024年公開のオープンソースモデル。