AI・機械学習用語集

Allen AI（AI2）が2020年に発表した、ローカルアテンションとタスク依存のグローバルアテンションを組み合わせたスパースTransformerモデル。最大4,096トークンの入力を線形計算量O(n)で処理し、長文書分類・質問応答で高い精度を達成する。

Allen AIが2020年に提案した長文書処理向けトランスフォーマー。各トークンがローカルウィンドウ内のトークンとのアテンションを計算するスライディングウィンドウと、特定タスクトークンとのグローバルアテンションを組み合わせO(n)計算量を実現する。

LLMのコンテキスト全体を長期記憶バンクに格納し、検索強化型生成（RAG）でコンテキスト外の過去情報を参照可能にする研究フレームワーク。Transformerの2段階アーキテクチャでメモリ検索と生成を統合する。

2024年Microsoft Research発表LongRoPE paper・Industry-leading Microsoft 2M Context RoPE Extension paradigm + Industry-leading 2M tokens context length + Industry-leading evolutionary search RoPE rescaling + Industry-leading Phi-3 + Llama adoption + Industry-leading 2024年latest RoPE extension evolution。

Microsoftが2024年に発表した、RoPE位置エンコーディングの非一様内挿と進化的探索を組み合わせ、LLMのコンテキスト長を最大2048kトークンまで拡張する手法。

Microsoft Researchが開発したRoPEスケーリング手法。2048件のコンテキストサンプルを用いた非均一な周波数スケーリング係数の進化的探索と、2段階の継続訓練で2048k（200万）トークンまでの拡張を実現。

MIT・香港中文大学が2023年に提案した、Shift Short Attention（S²-Attn）とLoRAを組み合わせ、LLMを長文コンテキスト（32k〜100kトークン）へ効率的にファインチューニングする手法。

Shifted Sparse Attention（S2-Attn）とLoRAを組み合わせた効率的なコンテキストウィンドウ拡張手法。LLaMA 2を少ないGPUメモリと計算コストで4k→100kトークンまで拡張可能にした。

2023年Yukang Chen et al. (MIT+CUHK)発表LongLoRA・Industry-leading efficient long context fine-tuning + Industry-leading Shifted Sparse Attention S2-Attn + Industry-leading 100K context LLaMA + Industry-leading LoRA-based long context method。

LLMのコンテキストウィンドウ内で一時的に保持・操作される情報の総称。ReActループ・CoT中間ステップ・ツール結果を管理する。

LLMエージェントがタスク実行中に一時的なコンテキスト情報を保持・操作するための短期記憶メカニズム。LLMのコンテキストウィンドウやスクラッチパッドとして実装され、タスク完了後に破棄または長期記憶へ昇格される。

タスク実行中に中間結果や計画を一時保持するエージェントの短期記憶機構。人間の作業記憶（ワーキングメモリ）を模倣し、マルチステップ推論や複雑なタスク分解に必要な情報を一時的に管理する。

Word2VecとGloVeは、大規模テキストコーパスから単語の分散表現（ベクトル）を学習する古典的な埋め込み手法で、Word2Vecは局所的な共起関係（CBOW/Skip-gram）、GloVeはコーパス全体の共起統計量から学習する点が異なる。

Word2Vec は2013年1月Tomas Mikolov (Google・後Facebook・後Microsoft) ・Kai Chen・Greg Corrado・Jeffrey Dean (Google) が発表した単語埋め込み (Word Embedding) アルゴリズムでContinuous Bag-of-Words (CBOW) ・Skip-gram モデル採用し「king - man + woman ≈ queen」等のベクトル演算で意味的関係を表現可能化しNLP 革命の起点となった現代自然言語処理の基盤技術。

Googleが開発したサブワードトークナイゼーションアルゴリズム。BPEと同様にボトムアップで語彙を構築するが、マージ候補の選定に言語モデル尤度（対数尤度変化量）を使用する点が異なる。BERT・DistilBERT・ELECTRA等のGoogleのエンコーダモデルで標準的に採用されている。

WordPieceはGoogleが開発したサブワードトークン化アルゴリズムで、BERTやDistilBERT等のTransformerモデルで標準的に採用されており、コーパスの尤度最大化を基準にサブワード語彙を構築する。

2012年Schuster + Google発表WordPiece paper・Industry-leading WordPiece subword tokenizer + Industry-leading BERT全系列 WordPiece-based + Industry-leading 12年heritage BERT Industry-standard。

Googleが開発したサブワード分割アルゴリズム。BPEと類似するが、マージ対象のペア選択に尤度最大化（言語モデル確率の向上量が最大のペア）を用いる点が異なる。BERTおよびその派生モデル（DistilBERT、ALBERT、ELECTRA等）の標準トークナイザー。

GoogleのBERTで採用されたサブワードトークナイゼーション手法。BPEと似た発想だが、最大尤度（Likelihood最大化）でマージを選択するため異なる語彙を構築する。サブワードには「##」プレフィックスを付け語中のピースであることを示す。BERT/RoBERTa/ALBERT/DistilBERTで標準採用。

知識編集の永続性と選択性を改善した手法。副コピー（サイドMEMORY）に編集内容を保持し、関連クエリには副コピーを参照・無関係クエリには元モデルを参照することで副作用を大幅に低減する。