AI・機械学習用語集

2024年5月Princeton NLP発表SimPO・Industry-leading simple preference optimization + Industry-leading length-normalized reward + Industry-leading reference-free + Industry-leading Princeton NLP Meng+Xia+Chen SimPO MIT simple length-normalized preference optimization method 2024。

長さ正規化とターゲットマージンを導入したDPO改善手法。参照モデル不要・応答長による性能バイアスを解消・シンプルな実装が特徴。Princeton大学が2024年に提案。AlpacaEval2・MT-BenchでDPO/KTO/IPO/ORPOを上回る性能を報告。

Meng ら Princeton 2024年 LLM alignment 手法。reference model 完全不要・length-normalized reward で計算コスト最小・性能最高

信頼度校正ベンチマーク（Calibration Benchmark）とは、LLMや機械学習モデルの信頼度校正品質を標準化された条件下で定量的に評価するためのデータセット・評価指標・実験プロトコルの総称である。ECE、ACE、Brier Score等の校正指標をTriviaQA、MMLU、MedQA等の標準データセット上で計測しモデル間の校正性能を公正に比較する。

2024年OpenAI発表SWE-bench Verified・Industry-leading SWE-bench human-verified subset + Industry-leading 500 GitHub issue tasks + Industry-leading real-world coding benchmark + Industry-leading agent benchmark standard 2024。

Google Brainが2021年に発表したMixture-of-Experts（MoE）アーキテクチャの大規模言語モデル。各トークンを1つのエキスパートにのみルーティングする「Switch Routing」により、計算コストを増やさずにモデルパラメータを最大1.6兆（1.6T）まで拡張した。現代MoEモデルの原型。

推論時間最適化とは、LLMの推論フェーズにおける計算リソースの配分を最適化し、精度とコスト・レイテンシのバランスを取る技術群である。Test-Time Compute Scalingの実用化に伴い、2025年以降急速に重要性が増した。

LLMが生成した回答や中間推論ステップを推論時にリアルタイムで評価・検証する技術。Process Reward Model（PRM）やOutcome Reward Model（ORM）を用いてステップごとの正確性を判定し、誤った推論パスを早期に棄却する。

LLMの推論時にツリー探索やモンテカルロ木探索（MCTS）などの体系的な探索アルゴリズムを適用し、最適な推論パスを発見する手法。AlphaGoの探索技術をLLM推論に応用したアプローチで、数学やコード生成で高い性能を達成している。

テスト時に計算資源を増やすことでLLMの出力品質を向上させる手法。学習時スケーリングとは異なり、推論時の計算量を動的に制御する。

Chain-of-Thought特化大規模推論モデル。OpenAI o3-mini・o3 Pro・o4-mini・Anthropic Claude 4 Opus Extended Thinking・Gemini 2.5 Pro Deep Think・Grok 3 Reasoning・DeepSeek R1・Qwen QwQ-32B/QvQ・Kimi K2・GLM-Zero対応、2026年AIME 2024 95%+・GPQA 80%+達成、Agentic+Research用途急拡大。

OpenAI o系列等Thinking強化LLM。o1/o3/o4-mini-high(2025)・o5(2026 Q2)・DeepSeek R1/R2・Claude 3.7/4.7 Extended Thinking・Qwen3-32B Reasoning・Gemini 2.5 Pro Deep Think・Grok 3 Reasoningが2026年代表、思考トークン並列探索+自己修正でAIME 99%+GPQA 87%達成。

推論モデルアーキテクチャとは、LLMに高度な推論能力を付与するための訓練手法・モデル構造・推論パイプラインを含む設計体系である。OpenAI o1/o3、DeepSeek R1、Qwen QwQなどの推論特化モデルの基盤となる。

AIモデルの推論リクエストごとに入力・出力・メタデータを構造化して記録する仕組み。品質分析・デバッグ・コスト追跡・コンプライアンスの基盤となる。

SwiGLU は Swish 関数と GLU（Gated Linear Unit）を組み合わせた活性化関数であり、2020年に Noam Shazeer が提案し、LLaMA・Mistral・Qwen・DeepSeek 等の 2024-2026年主要 LLM で事実上のデファクトスタンダードとして採用されている。

2020年Shazeer + Google発表SwiGLU paper・Industry-leading Swish-gated GLU paradigm + Industry-leading Llama + Mistral + Qwen + PaLM dominant + Industry-leading 4年heritage modern LLM gated activation。

2021年Google発表Switch Transformer paper・Industry-leading Switch Transformer single-expert-per-token MoE + Industry-leading Fedus Zoph Shazeer Google + Industry-leading 1.6T parameters scaling。

2024年10月OpenAI発表Swarm・Industry-leading lightweight handoff agents + Industry-leading simple agent coordination + Industry-leading minimal abstractions + Industry-leading OpenAI Swarm MIT experimental lightweight handoff agents framework 2024。

Swarm Robotics Processor（SRP）は、群知能アルゴリズムを hardware レベルで実装した専用プロセッサです。数百〜数千のロボットやドローンの協調動作をリアルタイムで制御し、創発的な集団行動を実現します。

小説執筆者向けに特化したAIライティングツール。「Describe」「Brainstorm」「Rewrite」等の機能で執筆中の詰まりを解消し、プロ品質の推敲・展開提案を提供する。