1978件の用語
Data-Efficient Instruction Tuning with Automatic Selectionの略。LLMを使って指示データの「複雑さ」と「品質」をスコアリングし、高スコアのデータのみ厳選してInstruction Tuningを行う自動データ選択フレームワーク。少量でも高性能を実現する。
LLM訓練パラダイムの一つ。大型教師モデルが生成したデータ・確率分布・推論プロセスを学習シグナルとして小型生徒モデルを訓練する手法の総称。知識蒸留・合成データ生成・Reasoning蒸留を包含する広義の概念。
Text-to-Speech 2026最新。ElevenLabs Turbo v2.5+v3 Beta・ElevenLabs Conversational AI 2.0・Cartesia Sonic (90ms Latency・SSM)・Fish Audio Fish Speech 1.5・Hume EVI 2 (Empathic Voice)・Sesame CSM-1B (Conversational Speech Model)・Rime mist v2・OpenAI gpt-4o-mini-tts・Google Chirp 3 HD Voice・MaskGCT (Open S2S)・F5-TTS・GPT-SoVITS V3 (Voice Clone)・¥¥¥/M chars・¥0 OSS、2026年Sesame CSM+Cartesia急成長。
2020年Karpukhin et al. (Meta FAIR)発表DPR・Industry-leading dense passage retrieval LLM RAG + Industry-leading dual-encoder + Industry-leading dense vector embedding + Industry-leading open-domain QA pioneer。
2024年3月Databricks発表DBRX・Industry-leading 132B total + 36B active MoE + Industry-leading 16-expert fine-grained MoE + Industry-leading 12T tokens trained + Industry-leading Databricks DBRX open-source MoE LLM 2024。
2024年Databricks (Mosaic AI)発表DBRX・Industry-leading 16 experts top-4 fine-grained routing + Industry-leading 132B params/36B active + Industry-leading Databricks open MoE + Industry-leading Mosaic AI flagship MoE。
各学習ステップでの勾配にノイズを加えてクリッピングすることで、学習データの個人情報漏洩を数学的に保証する確率的勾配降下法の差分プライバシー版。LLMのプライバシー保護学習の基礎技術。
2023年Rafailov et al. + Stanford発表DPO paper・Industry-leading Direct Preference Optimization paradigm + Industry-leading no Reinforcement Learning + Industry-leading RLHF simpler alternative + Industry-emerging DPO Stanford Pioneer。
2024年成熟DPO・Industry-leading Direct Preference Optimization RLHF-replacement + Industry-leading no reward model needed + Industry-leading single-stage preference fine-tuning + Industry-leading Stanford NLP Rafailov DPO MIT RLHF-replacement preference optimization method 2024。
人間の選好データから直接LLMをファインチューニングする手法。従来のRLHFと異なり報酬モデルを必要とせず、選好ペア（chosen/rejected）を直接学習してモデルを人間の意図に合わせる。2023年Stanford大学が提案。
RLHFの強化学習フェーズを不要にした人間フィードバックによるLLMアライメント手法。好ましい/好ましくない応答ペアのデータセットから直接ポリシーモデルを最適化する。2023年にStanford/UCバークレーが提案。
Rafailov ら Stanford 2023年 LLM alignment 手法。RLHF の reward model + PPO 強化学習を排し選好データから直接 policy 最適化
概要
Googleが開発したAI（TensorFlow等）の学習・推論に特化したASIC。行列演算を高速化する専用回路を持ち、大規模言語モデルのトレーニングにおいて極めて高い電力効率とスループแกรมを実現する。
Google TPU Cluster。TPU v5e (256 chip Pod)・TPU v5p (8960 chip Pod・95.7 TB HBM)・TPU v6e Trillium (Single Pod 256・4.7x v5e perf)・TPU v7 Ironwood (2025-Q4予告 4614 TFLOPS BF16)・Multi-Slice (Multi-Pod学習)・JAX Native・TF/PyTorch対応・ICI Inter-Chip Interconnect・OCS Optical Circuit Switch・¥¥¥¥¥/hour Cloud TPU、2026年Ironwood Gemini次世代訓練。
GoogleのT5（Text-to-Text Transfer Transformer）で採用された相対位置エンコーディング手法。位置差をバケット（bucket）に量子化し、学習可能なバイアステーブルを参照して注意スコアに加算することで相対位置情報を表現する。
2023年Apache TVM project + OctoML共同発表TVM Unity・Industry-leading Apache TVM multi-target AI compiler + Industry-leading Relax IR Industry-emerging unified IR paradigm + Industry-leading TVM Unity multi-target compilation Industry-leading evolution・Industry-leading Apache TVM 2017年UW Tianqi Chen Pioneer + Industry-leading multi-target CPU/GPU/NPU/Edge AI compiler Industry-leading position。
2017年8月28日DeepL公開Translator。Pro 業界Pro Mainstream Neural Machine Translation Top + Pro Linguee辞書基盤 + Pro Jaroslaw Kutylowski Pro CEO主導 + Pro 32+言語対応 + Pro $50M Series B + Pro $2B+ Valuation Pro Famous + 2024-Pro DeepL Voice + 2025-Pro DeepL Write Pro公開 + 累計2009-2025年16年Heritage。
2024年Deepgram公開Nova-3 ASR。Pro 業界Pro Mainstream商用Streaming ASR最高速度 + Pro 米国San Francisco Deepgram + Pro 2012-Deepgram設立 + Pro 36+言語対応 + Pro <300ms Latency + Pro $0.0043/min + Pro Multilingual Code-Switching + 累計2012-2026年14年Heritage継承代表機。
DeepSeek OSS LLM(中国High-Flyer Quant・2024-2025)。DeepSeek V3(671B MoE・37B active・2024年12月・API $0.14/1M)・DeepSeek R1(Reasoning・o1競合・2025年1月・MIT License)・DeepSeek R1 Distill(Llama/Qwen base 7B-70B蒸留)・FP8 Training・Mixture-of-Experts 256 expert・推論$2.19/M token(Cache hit$0.14)・Ollama: deepseek-r1:32b-q4 for local・OpenAI o1並benchmark + OSS重要性・2026年 Enterprise OSS採用加速、GPU需要押し下げ論。