AI・機械学習用語集

MEMIT（Mass-Editing Memory In a Transformer）とは、ROME を拡張し、数千〜数万件の事実知識を Transformer の複数層に同時に書き込む大規模知識編集手法である。2022年に MIT の Meng らが提案し、ROME の単一編集制約を克服した。

ROMEを拡張し、LLMに数千〜数万件の事実を一括で書き込める大規模知識編集フレームワーク。複数のFF層に分散してRank-1更新を適用することでスケールを実現する。

AIによる自動整理機能を核とした、次世代のナレッジマネジメント・ツール。GPT-4oやClaude等のマルチLLMを活用し、ユーザーの手動操作なしにノート間の関連付けやタグ付けを行う「Self-Organizing Notes」を実現している。

2024年Mem Labs公開Mem.ai 2.0。Pro 業界Pro Mainstream AI Note-taking GPT-4 Mem Chat先駆 + Pro 米国SF Mem Labs + Pro 2022-Mem Labs設立Kevin Moody + Dennis Xu + Pro GPT-4 Mem Chat + Pro Auto-Tagging + Pro Smart Search + Pro $14.99/月 + 累計2022-2026年4年Heritage継承代表機。

2023年UC Berkeley公開MemGPT。Pro 業界Pro Mainstream OS-style LLM Memory業界先駆 + Pro 米国Berkeley UC Berkeley + Pro 1868-UC Berkeley設立 + Pro Charles Packer研究 + Pro Virtual Context Manager + Pro Self-Editing Memory + Pro Apache 2.0 OSS + 累計2023-2026年3年Heritage継承代表機。

LLMエージェントに自動的な長期記憶管理を提供するOSSライブラリ。会話から重要情報を自動抽出・更新・削除し、複数LLMアプリケーションにわたる統一メモリ層として機能する。

2024年Mem0公開Mem0 OSS。Pro 業界Pro Mainstream LLM Memory Layer OSS Top + Pro 米国SF Mem0 + Pro 2023-Mem0設立Taranjeet Singh + Deshraj Yadav + Pro Y Combinator W24 + Pro Hierarchical Memory + Pro Apache 2.0 OSS + Pro 90%精度向上 + 累計2023-2026年3年Heritage継承代表機。

MemoRAGは、単なる文書検索に基づくRAGに「記憶（Memory）」機構を組み込んだ技術です。対話履歴や過去の文脈情報を参照することで、より長く、複雑な質問に対しても一貫性のある回答を生成することを可能にします。

深層学習の学習時に GPU メモリに収まりきらないテンソル（オプティマイザ状態、勾配、パラメータ、活性化値）の一部を CPU メモリや NVMe SSD に退避させる手法。DeepSpeed ZeRO-Offload や PyTorch FSDP の CPU Offload で実装され、限られた GPU でも大規模モデルの学習を可能にする。

LLMに長期エピソード記憶と感情状態記録を付与する研究フレームワーク。ベクトル検索でユーザーとの過去会話を効率的に参照し、感情モデリングと組み合わせた長期パーソナルコンパニオンAIを実現する。

外部メモリモジュールをトランスフォーマーに統合しコンテキスト窓を超えた情報保持を実現するアーキテクチャ。Memorizing Transformers・LONGMEM等。

限られたGPUメモリで大規模モデルを訓練するための総合的な最適化戦略。勾配チェックポインティング・Mixed Precision・ZeRO・Offloadingなど複数手法を組み合わせ、メモリ使用量を最小化する。

LLMの長系列推論時に発生する大量のKVキャッシュメモリを削減する技術群の総称。PagedAttention、KVキャッシュ圧縮、Multi-Query Attention（MQA）、Grouped-Query Attention（GQA）などの手法により、128Kトークン超の推論をコンシューマGPUでも実行可能にする。

LLMにOSのような階層型メモリ管理を導入した研究フレームワーク。主記憶・外部ストレージ・会話履歴を統合し、長期対話コンテキストを保持したまま無制限の会話を実現する。

University of Maryland発のLLMウォーターマーク体系。KGWスキームを出発点とした理論的フレームワークで、LLMウォーターマーク研究の基盤となった。

MEND（Model Editor Networks using Gradient Decomposition）とは、勾配分解に基づくハイパーネットワークで LLM の知識を高速編集する Meta-Learning 系手法である。事前学習済みの編集ネットワークが入力に応じた重み更新を 0.1秒で生成する。

勾配分解によりLLMの知識を高速編集するメタ学習ベースの手法。編集対象の勾配を低ランク分解してハイパーネットワークで変換することで、数ミリ秒での事実更新を実現する。

LLM が特定のテキストを学習データとして使用したかどうかを、モデルの出力確率を分析して推定する攻撃手法。プライバシー侵害・著作権侵害検証の両面で研究が進む。

2024年6月Together AI + Duke University発表MoA・Industry-leading multi-LLM ensemble + Industry-leading layered aggregator + Industry-leading beats GPT-4o on AlpacaEval + Industry-leading Together AI MoA Mixture of Agents multi-LLM aggregation framework 2024。

Databricks (米San Francisco・2013年Ali Ghodsi + Apache Spark UC Berkeley origin・Industry-leading data + AI platform brand・累計売上$2B+/year・$43B valuation 2024年) Mosaic Composer・Industry-leading PyTorch-based Multi-strategy Distributed Training framework・Databricks 2023年Mosaic ML $1.3B acquisition + MosaicML founders integration・Industry-leading multi-strategy training optimization + Industry-leading Open-source PyTorch ecosystem alignment + Industry-leading Databricks AI platform integration + Industry-leading commercial + Open-source dual deployment model。