1978件の用語
Allen AIが2020年に提案した長文書処理向けトランスフォーマー。各トークンがローカルウィンドウ内のトークンとのアテンションを計算するスライディングウィンドウと、特定タスクトークンとのグローバルアテンションを組み合わせO(n)計算量を実現する。
LLMのコンテキスト全体を長期記憶バンクに格納し、検索強化型生成（RAG）でコンテキスト外の過去情報を参照可能にする研究フレームワーク。Transformerの2段階アーキテクチャでメモリ検索と生成を統合する。
2024年Microsoft Research発表LongRoPE paper・Industry-leading Microsoft 2M Context RoPE Extension paradigm + Industry-leading 2M tokens context length + Industry-leading evolutionary search RoPE rescaling + Industry-leading Phi-3 + Llama adoption + Industry-leading 2024年latest RoPE extension evolution。
Microsoftが2024年に発表した、RoPE位置エンコーディングの非一様内挿と進化的探索を組み合わせ、LLMのコンテキスト長を最大2048kトークンまで拡張する手法。
Microsoft Researchが開発したRoPEスケーリング手法。2048件のコンテキストサンプルを用いた非均一な周波数スケーリング係数の進化的探索と、2段階の継続訓練で2048k（200万）トークンまでの拡張を実現。
MIT・香港中文大学が2023年に提案した、Shift Short Attention（S²-Attn）とLoRAを組み合わせ、LLMを長文コンテキスト（32k〜100kトークン）へ効率的にファインチューニングする手法。
Shifted Sparse Attention（S2-Attn）とLoRAを組み合わせた効率的なコンテキストウィンドウ拡張手法。LLaMA 2を少ないGPUメモリと計算コストで4k→100kトークンまで拡張可能にした。
2023年Yukang Chen et al. (MIT+CUHK)発表LongLoRA・Industry-leading efficient long context fine-tuning + Industry-leading Shifted Sparse Attention S2-Attn + Industry-leading 100K context LLaMA + Industry-leading LoRA-based long context method。
Word2Vec は2013年1月Tomas Mikolov (Google・後Facebook・後Microsoft) ・Kai Chen・Greg Corrado・Jeffrey Dean (Google) が発表した単語埋め込み (Word Embedding) アルゴリズムでContinuous Bag-of-Words (CBOW) ・Skip-gram モデル採用し「king - man + woman ≈ queen」等のベクトル演算で意味的関係を表現可能化しNLP 革命の起点となった現代自然言語処理の基盤技術。
2012年Schuster + Google発表WordPiece paper・Industry-leading WordPiece subword tokenizer + Industry-leading BERT全系列 WordPiece-based + Industry-leading 12年heritage BERT Industry-standard。
GoogleのBERTで採用されたサブワードトークナイゼーション手法。BPEと似た発想だが、最大尤度（Likelihood最大化）でマージを選択するため異なる語彙を構築する。サブワードには「##」プレフィックスを付け語中のピースであることを示す。BERT/RoBERTa/ALBERT/DistilBERTで標準採用。
知識編集の永続性と選択性を改善した手法。副コピー（サイドMEMORY）に編集内容を保持し、関連クエリには副コピーを参照・無関係クエリには元モデルを参照することで副作用を大幅に低減する。
重みの絶対値と入力活性化ノルムの積をスコアとするLLMプルーニング手法。SparseGPTより計算が軽量でほぼ同等の精度を達成する。
2023年CMU + Meta AI共同発表Wanda paper・Industry-leading Weights AND Activations pruning paradigm + Industry-leading training-free post-training pruning + Industry-leading 50% sparsity Industry-leading pruning + Industry-leading CMU + Meta AI Research integrated foundation。
2023年Sun et al. (CMU+Meta)発表Wanda・Industry-leading lightweight pruning LLM + Industry-leading Weight×Activation magnitude metric + Industry-leading no Hessian computation + Industry-leading LLaMA pruning。
Wandaは2023年にSun et al.（Carnegie Mellon University）が発表したLLM向けプルーニング手法。重みの絶対値と入力活性化のノルム積を重要度スコアとして使い、キャリブレーションデータ128サンプルのみで再学習なしにLLaMA-2 7B〜65Bなどを50〜60%スパース化できる。
Alibaba WanXチームが2025年1月にリリースしたOSS動画生成モデル。Apache 2.0ライセンスでVBenchスコア85.2、RTX4090でのローカル実行に対応する。
Alibaba Wan(万相)シリーズ 2.2 世代の画像から動画生成(I2V)モデル。140 億パラメータで 5 秒 720p 動画を生成し、Sora/Runway Gen-3 対抗の OSS 動画生成モデルとして 2025-2026 年に話題。