AI・機械学習用語集

2022年Leonardo Interactive公開Leonardo AI。Pro 業界Pro Mainstream Game Asset AI Image Top + Pro オーストラリアSydney Leonardo + Pro JJ Fiasson Pro CEO + Pro Game Asset特化 + Pro Phoenix/Lucid/Anime XL Models + Pro $31M Series A → Pro Canva買収 + 累計2022-2026年4年Heritage継承代表機。

LexisNexis社が提供するAI法律調査プラットフォーム。LexisNexisの膨大な判例・法令・規制データベースと生成AIを統合し、自然言語での法律調査・文書ドラフト・要約を実現する。ハルシネーション防止のためソース引用リンクを全回答に付与するHallucination Guard機能搭載。

LLMが数学定理を小さな補題（レゴブロック）に分解して形式証明システム（Lean/Isabelle）で検証しながら累積的知識ライブラリを構築する自動定理証明フレームワーク。

2023年Song et al. (Tsinghua)発表RestGPT・Industry-leading RESTful API control LLM + Industry-leading online planner + Industry-leading TMDB+Spotify integration + Industry-leading RESTful API instruction following。

2024年Anthropic + Princeton共同発表REST paper・Industry-emerging Retrieval-Based Speculative Decoding paradigm + Industry-leading datastore retrieval-based draft token + Industry-leading no draft model training-free Industry-emerging paradigm Pioneer + Industry-leading Anthropic + Princeton integrated research foundation。

欧州法律文書に特化した複数の事前学習済み言語モデル群。EU法令・ECHR判例・各国法律文書で訓練され、欧州法体系の分析に最適化されている。

2024年Letta公開Letta(MemGPT後継)。Pro 業界Pro Mainstream Stateful AI Agent商用化 + Pro 米国Berkeley Letta + Pro 2024-Letta設立Charles Packer元UC Berkeley + Pro Stateful Agent + Pro MemGPT後継 + Pro Apache 2.0 OSS + Pro Letta Cloud SaaS + 累計2023-2026年3年Heritage継承代表機。

OpenAIが2023年に発表したPRM（Process Reward Model）の有効性を実証した論文。LLMの数学推論において最終回答ではなく各推論ステップを評価するリワードモデルが大幅な精度改善をもたらすことを初めて大規模に示した。

2022年Ganguli et al. (Anthropic+Meta+OpenAI)発表Red Teaming LLM・Industry-leading adversarial testing LLM safety + Industry-leading red teaming standard + Industry-leading harmful output discovery + Industry-leading systematic red teaming methodology。

Retentive Networkの略で、Microsoftが2023年に提案したTransformer代替アーキテクチャ。並列学習・リカレント推論・チャンク並列推論の3つの計算モードを切り替え可能で、学習はTransformer同等の並列性、推論はRNN同等の効率性を実現する。

2023年Together AI共同発表RedPajama・Industry-leading Open-Source LLM Training Dataset・Industry-leading 1.2T tokens v1 + 30T tokens v2 + Industry-leading LLaMA replication paradigm + Industry-leading Together AI Industry-emerging Open-source dataset Pioneer。

2022年Borgeaud et al. (DeepMind)発表RETRO・Industry-leading retrieval-enhanced transformer pre-training + Industry-leading 7B with 2T token database + Industry-leading 25× smaller GPT-3 equivalent + Industry-leading DeepMind first retrieval-pretrained LLM。

Reinforced Fine-Tuning（強化ファインチューニング）の略。Dongら（2024）が提案した手法で、数学問題に対して複数の思考過程を生成し正解に至った軌跡のみでオンライン強化学習を行いCoT品質を段階的に向上させる。SFT単体より少ないデータで高い精度を実現する。

2017年Luka公開Replika。Pro 業界Pro Mainstream Companion AI先駆 + Pro Eugenia Kuyda Pro CEO主導 + Pro Mary Lou Jepsen亡き友人由来Pro Famous + Pro 1000万+ User + Pro Free + Pro Pro $19.99/月 + 2024-Pro Replika Voice + 2025-Pro Replika 2.0 + 累計2017-2025年8年Heritage。

ニューラルネットワークの中間層の活性化ベクトルから、モデルが内部的に保持している概念・知識・判断を線形プローブなどの手法で読み取る技術。モデルの「考えていること」を外部から非侵襲的に観測する解釈可能性の基盤手法。

回帰問題として報酬最大化を定式化するLLM整合強化学習手法。報酬モデルの出力を直接回帰ターゲットとして学習し、PPOのアクター・クリティックの複雑な最適化を回避しながら高品質な整合を実現する。

ReLU（Rectified Linear Unit）を起点として開発された活性化関数ファミリーであり、Leaky ReLU・PReLU・ELU・SELU・ReLU6 等の派生が存在し、各々が dying ReLU 問題の解消や特定のアーキテクチャへの最適化を目指して設計されている。

連合学習アグリゲーションとは、複数の参加者がローカルで計算したモデル更新（勾配やパラメータ差分）を中央サーバーで統合する処理で、FedAvg・FedProx・SCAFFOLD・FedNovaなどのアルゴリズムが代表的である。

連合学習プライバシー保護とは、差分プライバシー（Differential Privacy）・セキュアアグリゲーション・準同型暗号などの暗号学的手法を組み合わせ、連合学習における勾配情報からの訓練データ漏洩を防止する技術群である。

2021年Su et al. (RoFormer paper)発表RoPE paper・Industry-leading Rotary Positional Encoding paradigm + Industry-leading rotation-based relative position encoding + Industry-leading Llama + Mistral + Qwen + ChatGLM全LLM Industry-leading dominant + Industry-leading 3年heritage positional encoding Industry-standard。