2472件の用語
Stanford 大学が 2023 年に提案した二次情報活用型のオプティマイザ。ヘシアン行列の対角近似を用いてパラメータごとの曲率を推定し、曲率に応じた適応的クリッピングで更新量を制御する。GPT-2 規模の実験で AdamW 比 2 倍の収束速度を達成し、計算オーバーヘッドは約 5% に抑えた。
Prompt Tuning で使用される学習可能な連続ベクトルの集合。離散的な自然言語トークン（Hard Prompt）とは異なり、embedding 空間上の任意の位置に最適化されるため、人間には解読できないが高い表現力を持つ。
OpenAI 2024年2月発表・12月公開のテキスト→動画生成AI。1080p 60秒・物理シミュレーション・複雑なシーン理解、AI動画生成の象徴的モデル。
OpenAIが2024年2月に発表・12月に一般公開したテキスト/画像→動画生成モデル。DiTアーキテクチャで最大1080p・60秒・24fps動画を生成する。
2024年2月15日OpenAI announce Sora。Pro 業界初Mainstream Text-to-Video AI Pro Famous + Pro 1分動画生成 + Pro 1080p Resolution + Pro Diffusion Transformer (DiT) + 2024-12-09 Pro Sora Turbo公開Pro Famous + Pro ChatGPT Plus $20/Pro $200対応 + Pro 12 Days of OpenAI Day 1 + 累計2024-2025年Heritage。
アーキテクチャの離散的な選択を連続値に緩和し、勾配降下法で効率的に探索するNAS手法。従来の強化学習ベースNASに比べ探索コストを300倍以上削減し、単一GPUでの探索を現実的にした。
Dartmouth Summer Research Project on Artificial Intelligence は1956年7-8月Dartmouth College で開催されたAI 研究史の出発点会議で John McCarthy (主催・1971年Turing Award) ・Marvin Minsky・Claude Shannon・Allen Newell 等10人が参加し「Artificial Intelligence」用語が誕生・8週間の議論で AI 学問分野が確立した歴史的会議。
2024年Turbopuffer Inc公開Turbopuffer。Pro 業界Pro Mainstream Serverless S3-backed Vector DB先駆 + Pro 米国SF Turbopuffer + Pro Simon Eskildsen Pro Founder + Pro 元Shopify + Pro Object Storage Native + Pro Pay-per-use + Pro 大容量低コスト + Pro $36M Series A + 累計2024-2026年2年Heritage継承代表機。
LMDeployに内蔵されたC++/CUDA製の高性能LLM推論バックエンド。Paged KV Cache・Continuous Batching・W4A16量子化カーネルをC++レイヤーで実装しPython APIから透過的に利用できる。NVIDIA A100/H100/L40S上でvLLM比最大80%高いスループットを実現したベンチマーク結果が報告されている。
Nari Labsが2025年4月に公開した16億パラメータのオープンソーステキスト読み上げモデル。[S1][S2]タグによるマルチスピーカー対話音声生成と(laughs)等の非言語表現タグが特徴。Gemini 1.5 Proからの知識蒸留で学習。
2023年提案のLLMマージ手法。「Trim（小さい値を刈り込む）→Elect（符号の多数決）→Disjoint Merge（非競合結合）」の3ステップで複数モデルの差分ベクトルを結合し、パラメータ干渉を最小化する。
複数モデルのタスクベクトルから符号が矛盾するパラメータを除去し、残った一貫性のあるパラメータのみを統合するマージ手法。3モデル以上の同時マージに対応し、干渉を最小化する。
2024年Q4 Google Research発表Titan・Transformer + Long-Term Memory Module hybrid architecture・Industry-emerging long-term memory architecture paradigm・2M+ tokens context length + Industry-leading long-term memory module + Industry-emerging Transformer Memory paradigm Pioneer + Google Research Industry-leading academic paper foundation。
Googleが2025年に発表したTransformerの拡張アーキテクチャ。テスト時にニューラル長期記憶モジュールを動的更新し、2Mトークン超のコンテキストをO(n)以下で処理できる。
LLMデコーディングにおいてトークン確率分布のエントロピーに応じて温度パラメータを動的に調整するサンプリング手法。固定温度より自然で一貫性の高い出力を実現し、llama.cppやLM Studioで実装されるDynatempが代表例。
Dynamic Batching（動的バッチング）とは、推論リクエストの到着パターンに応じてバッチサイズと構成タイミングを動的に調整するバッチング手法である。NVIDIA Triton Inference Serverが代表的な実装であり、最大バッチサイズ（max_batch_size）と最大遅延時間（max_queue_delay_microseconds）の2つのパラメータでバッチ構成を制御する。LLM専用のContinuous Batchingとは異なり、画像認識・音声認識・埋め込み生成など幅広い推論モデルに適用できる汎用的なバッチング技術である。
2020年Huawei Noah's Ark Lab + Jiao et al.発表TinyBERT paper・Industry-leading 2-Stage BERT Distillation paradigm + Industry-leading 7.5x smaller + 9.4x faster + 96% BERT performance + Industry-leading General Distillation + Task Distillation 2-stage paradigm Pioneer。
2019年Jiao et al. (Huawei)発表TinyBERT・Industry-leading 2-stage knowledge distillation LLM + Industry-leading 7.5× smaller BERT + Industry-leading attention transfer + Industry-leading 96.8% BERT performance retained。
Zhang et al.（2024）が公開した1.1Bパラメータの超軽量LLM。Llama2アーキテクチャをベースにSlimPajama・Starcoderデータで3兆トークン事前訓練し、同サイズクラスで最高水準の性能を達成したオープンソース小型モデル。
Beam Searchを拡張し複数のビームグループ間に「差異ペナルティ」を導入して多様な候補を並列生成するデコーディング手法。翻訳・要約・質問生成など複数の高品質候補が必要なタスクで使用される。