AI・機械学習用語集

2023年Omar Khattab et al. (Stanford)発表DSPy・Industry-leading programming LMs declarative paradigm + Industry-leading prompt optimization compiler + Industry-leading Stanford DSPy + Industry-leading DSPy programming LMs paradigm shift 2023+。

2024年Stanford NLP発表DSPy・Industry-leading self-improving programs + Industry-leading signature-based programming + Industry-leading compile prompts automatically + Industry-leading Stanford NLP DSPy MIT self-improving LLM programs framework 2024。

プログラミング的プロンプト最適化。DSPy(Stanford・2024-・LLM Signature + Modules + Optimizers)・Signature(input/output type定義)・Module(ChainOfThought/Predict)・Optimizer(BootstrapFewShot/MIPROv2)・dspy.configure(LM provider)・Self-Improving Prompts・Teleprompter・Signature optimization・Retrieval Augmentation・Production Ready DSPy 2.5対応・Google TextGrad・OpenAI Meta-Prompting補完・2026年エージェント品質向上で台頭。

2024年HuggingFace発表TGI v2.0+・Industry-leading production-ready LLM serving + Industry-leading HuggingFace Hub native integration + Industry-leading FlashAttention 2 + Industry-leading Apache 2.0 + commercial restriction HuggingFace LLM serving framework。

2024年Alibaba DAMO Academy + UCLA共同発表DCA paper・Industry-emerging Dual Chunk Attention training-free length extrapolation paradigm + Industry-leading intra-chunk + inter-chunk attention dual paradigm + Industry-leading training-free長コンテキスト適用 + Industry-leading Qwen2.5 + Llama Industry-leading adoption。

Apple・CMU・ワシントン大学等が共同開発したLLM事前学習データキュレーションフレームワーク。4兆トークン以上を収録し、フィルタリング手法の系統的比較実験を通じて最適なデータ選択手法を研究する。

2023年Stanford NLP公開DSPy。Pro 業界Pro Mainstream Prompt自動最適化Framework先駆 + Pro Stanford NLP + Pro Omar Khattab Pro主要研究員 + Pro Signature/Module/Optimizer + Pro Apache 2.0 + Pro DSPy 2.5 BetterTogether + 累計2023-2026年3年Heritage継承代表機。

Data-Efficient Instruction Tuning with Automatic Selectionの略。LLMを使って指示データの「複雑さ」と「品質」をスコアリングし、高スコアのデータのみ厳選してInstruction Tuningを行う自動データ選択フレームワーク。少量でも高性能を実現する。

LLM蒸留の基盤となる学習構造で、大規模な教師モデル（Teacher）が生成するソフトラベルを生徒モデル（Student）の学習信号として利用する二段階アーキテクチャ

LLM訓練パラダイムの一つ。大型教師モデルが生成したデータ・確率分布・推論プロセスを学習シグナルとして小型生徒モデルを訓練する手法の総称。知識蒸留・合成データ生成・Reasoning蒸留を包含する広義の概念。

Text-to-Speech 2026最新。ElevenLabs Turbo v2.5+v3 Beta・ElevenLabs Conversational AI 2.0・Cartesia Sonic (90ms Latency・SSM)・Fish Audio Fish Speech 1.5・Hume EVI 2 (Empathic Voice)・Sesame CSM-1B (Conversational Speech Model)・Rime mist v2・OpenAI gpt-4o-mini-tts・Google Chirp 3 HD Voice・MaskGCT (Open S2S)・F5-TTS・GPT-SoVITS V3 (Voice Clone)・¥¥¥/M chars・¥0 OSS、2026年Sesame CSM+Cartesia急成長。

2020年Karpukhin et al. (Meta FAIR)発表DPR・Industry-leading dense passage retrieval LLM RAG + Industry-leading dual-encoder + Industry-leading dense vector embedding + Industry-leading open-domain QA pioneer。

2024年3月Databricks発表DBRX・Industry-leading 132B total + 36B active MoE + Industry-leading 16-expert fine-grained MoE + Industry-leading 12T tokens trained + Industry-leading Databricks DBRX open-source MoE LLM 2024。

2024年Databricks (Mosaic AI)発表DBRX・Industry-leading 16 experts top-4 fine-grained routing + Industry-leading 132B params/36B active + Industry-leading Databricks open MoE + Industry-leading Mosaic AI flagship MoE。

各学習ステップでの勾配にノイズを加えてクリッピングすることで、学習データの個人情報漏洩を数学的に保証する確率的勾配降下法の差分プライバシー版。LLMのプライバシー保護学習の基礎技術。

2023年Rafailov et al. + Stanford発表DPO paper・Industry-leading Direct Preference Optimization paradigm + Industry-leading no Reinforcement Learning + Industry-leading RLHF simpler alternative + Industry-emerging DPO Stanford Pioneer。

2024年成熟DPO・Industry-leading Direct Preference Optimization RLHF-replacement + Industry-leading no reward model needed + Industry-leading single-stage preference fine-tuning + Industry-leading Stanford NLP Rafailov DPO MIT RLHF-replacement preference optimization method 2024。

人間の選好データから直接LLMをファインチューニングする手法。従来のRLHFと異なり報酬モデルを必要とせず、選好ペア（chosen/rejected）を直接学習してモデルを人間の意図に合わせる。2023年Stanford大学が提案。

RLHFの強化学習フェーズを不要にした人間フィードバックによるLLMアライメント手法。好ましい/好ましくない応答ペアのデータセットから直接ポリシーモデルを最適化する。2023年にStanford/UCバークレーが提案。

Rafailov ら Stanford 2023年 LLM alignment 手法。RLHF の reward model + PPO 強化学習を排し選好データから直接 policy 最適化