AI・機械学習用語集

2024年3月AI21 Labs発表Jamba・Industry-leading Mamba + Transformer hybrid + MoE + Industry-leading 52B total + 12B active + Industry-leading 256K context + Industry-leading AI21 Labs Jamba Apache 2.0 hybrid Mamba-Transformer MoE 2024。

AI21 Labsが2025年に公開したSSM-Transformer-MoEハイブリッドLLM。Jamba 1.5 Largeは総パラメータ398B・アクティブ94B・コンテキスト256Kトークンを実現。Mambaアーキテクチャと注意機構を交互に配置した独自ハイブリッド設計で長コンテキスト処理効率に優れる。

AI21 Labsが2024年発表したMamba SSMとTransformer AttentionをMixture-of-Experts（MoE）と組み合わせたハイブリッドLLM。52B総パラメータ・12Bアクティブで256Kコンテキスト長を実現した商用オープン重み公開モデル。

AI21 Labs製のハイブリッドSSM-TransformerモデルJambaの第2世代。MoEとMamba-2を組み合わせ、256KトークンコンテキストとTransformer比5倍のスループットを実現。2025年7月公開の52Bアクティブ/398Bトータルパラメータモデル。

2018年Anil et al. + Google発表Shampoo paper・Industry-leading Second-order Preconditioned Stochastic Tensor Optimization paradigm + Industry-leading block diagonal second-order + Industry-leading Google internal LLM adoption。

Jupyter Notebookは、人工知能・機械学習分野における重要な概念・技術です。

S4からMamba、Mamba-2、xLSTM、RWKVまでLLM向け状態空間モデルの総称。Transformerの二次複雑度問題を線形・定数メモリで解決し、長文脈・エッジ推論での代替アーキテクチャとして2025年研究の主軸となっている。

蒸留で圧縮したモデルに対してさらに不要なパラメータを除去（プルーニング）する複合圧縮手法。蒸留とプルーニングの相乗効果で、単独手法より高い圧縮率と精度を両立する。

モデル蒸留（知識転写）とプルーニング（不要パラメータ削除）を組み合わせ、LLMの推論効率を最大化する複合圧縮手法

蒸留によって軽量化されたLLMを本番環境に効率的にデプロイするための推論最適化・サービング戦略で、エッジ推論からクラウドスケーリングまでを包括する

蒸留用データセットとは、大規模言語モデル（教師モデル）の出力を利用して生成・収集された学習データで、小型モデル（生徒モデル）のファインチューニングに使用される合成データやアノテーション付きコーパスの総称である。

AppleとNVIDIAが2024年に共同開発したGUI操作特化マルチモーダルエージェント。スクリーンショットのみでUI要素を認識・操作し、ScreenSpotベンチマークで75%以上の精度を達成。

2017年Ramachandran et al. + Google発表SiLU/Swish paper・Industry-leading Sigmoid Linear Unit + Swish paradigm + Industry-leading Llama + Mistral + Qwen modern LLM dominant + Industry-leading 7年heritage modern LLM activation。

Claude Extended Thinking予算戦略。budget_tokens設定: 1024(quick・simple math)・4096(default・standard reasoning)・16384(complex math・science PhD)・32768(extreme・research grade)・Pricing: thinking tokens output同価($75/Mtok Opus・$15 Sonnet)・1 query 8k thinking ≈ $0.60・100 query/day = $60/月・Cost管理: Claude Sonnet 4.6 thinking推奨(Opus比 -80% cost)・Caching併用 -90%・Use case判断: Math/Science yes・Coding subtle改善・Q&A unnecessary多・Extended Thinking on/off toggle per request・2026年 reasoning model時代必修、AI cost engineering重要。

2024年Google DeepMind発表SynthID-Text・Industry-leading tournament sampling watermark + Industry-leading production-grade LLM watermark + Industry-leading Gemini foundation method + Industry-leading Nature 2024 publication。

SpaceXの教育プログラムから生まれた子ども向けAI学習プラットフォームで、ゲーム型問題解決とLLMを組み合わせた適応学習で数学・論理思考力を育む。

LLMにドキュメントやコーパスを入力として与え、質問-回答ペアを自動生成するデータ拡張手法。RAGシステムの評価・訓練データ作成、ドメイン特化QAモデルの構築に不可欠な技術で、人手アノテーションの1/100以下のコストで大規模QAデータセットを構築できる。

Synthetic Data手法。Self-Instruct (Stanford)・Evol-Instruct (WizardLM)・Self-Reward (Meta)・RLAIF Constitutional AI・LLM Distillation (Teacher→Student)・Phi Series Microsoft (Synthetic Pretraining)・Llama 3.3+Synthetic・Tülu 3 SFT+DPO・OpenWebMath・FineMath・Cosmopedia (HuggingFace 25B token)・Genstruct 7B・MAGPIE (Self-Synthesize)・WildChat・¥0 OSS、2026年Synthetic主流Pretraining。

2024年10月OpenAI発表SimpleQA・Industry-leading factuality benchmark + Industry-leading 4326 short-form QA + Industry-leading o1-preview 47% accuracy + Industry-leading OpenAI SimpleQA factuality evaluation benchmark 2024。

SimPO（Simple Preference Optimization）は、リファレンスモデルを不要にしつつ、応答の平均対数確率を報酬として使用することでDPOの長さバイアスを解消した手法で、2024年にVirginia大学が提案した