AI・機械学習用語集

テキストEmbeddingモデル。Qwen3-Embedding-8B/4B/0.6B (Alibaba・MMTEB SOTA)・BAAI BGE-M3・BGE-Large-EN-1.5・E5 Large/Mistral・Voyage AI voyage-3 (Anthropic推奨)・OpenAI text-embedding-3-large・Cohere Embed v3.0・NVIDIA NV-Embed-v2・Mixedbread mxbai・Stella v5 1.5B・jina-embeddings-v3・¥0-¥0.13/M tokens、2026年MMTEB日本語SOTA Qwen3。

テキストベクトル化モデル。BGE-M3(BAAI・8192 token・Multilingual)・Nomic Embed v2(768dim)・Voyage-3-large・Qwen3-Embedding-8B(4096dim)・Jina Embeddings v4・OpenAI text-embedding-3-large・Cohere Embed v4・mxbai-embed-large-v2・Snowflake Arctic Embed L 2.0・Stella 1.5B・MiniLM-L6代表、2026年1024-4096dim主流。

2024年Hong et al.発表ORPO paper・Industry-leading Odds Ratio Preference Optimization paradigm + Industry-leading SFT + alignment combined single-stage + Industry-emerging ORPO Pioneer。

2024年3月KAIST発表ORPO・Industry-leading odds ratio preference + Industry-leading no reference model + Industry-leading SFT+DPO unified monolithic + Industry-leading KAIST Hong+Lee ORPO Apache 2.0 no-reference-model preference optimization method 2024。

SFT（教師あり学習）とDPO（選好最適化）を1ステップに統合したアライメント手法。通常2段階が必要なSFT後のDPOを、オッズ比ペナルティを組み込んだ単一の損失関数で同時達成し、学習コストを約半分に削減する。2024年POSTECH発表。

SFT（教師あり微調整）と選好最適化を単一学習ステップで同時に行うLLM整合手法。参照モデル不要・計算コスト低減を実現し、DPOより効率的に人間の選好をモデルに反映できる。

参照モデル不要でSFTとアライメントを1ステップで実行するLLM手法。オッズ比ベースの損失関数でSFT損失と選好最適化を統合。韓国POSTECH・KAISTが2024年に提案。GPUメモリと学習ステップを削減。

Hong ら KAIST 2024年 LLM alignment 手法。SFT と preference 学習を1段階統合・reference model 不要で計算コスト半減

上海AILabが2024年に発表したGUI基盤モデル。Qwen2-VL-7Bをベースに1300万件のGUI操作データで学習し、Web・Windows・macOS・Android・iOSの5プラットフォームに対応する汎用GUIエージェント。

オープンソースコードを基にLLMが実践的なコーディング指示データを生成する手法。Magicoder（WeiCoder et al. 2023）が提案。GitHubの実コードスニペットをシードにLLMが多様な問題・解答を生成しコード特化モデルの精度を引き上げる。

Microsoft+Facebook 2017年OSS化のニューラルネットワーク交換フォーマット。PyTorch/TF/Caffe2等のモデル相互変換+推論実行統一。

Allen Institute for AI（AI2）が2024年に公開した完全オープンソースのMixture-of-Experts言語モデル。6.9Bパラメータ（アクティブ1.3B）の小型MoEで、学習データ・コード・重み・評価ツール全てを公開した透明性重視の研究モデル。Llama 3.1 3.2B同等の性能を半分の計算量で実現。

2024年Q3 Allen Institute for AI Ai2 (米Seattle・2014年Microsoft共同創業者 Paul Allen創業・Non-profit AI research institute・累計funding $500M+ from Paul Allen estate + DARPA + NSF grants・Academic AI research industry-leading non-profit institute) 発表OLMoE-1B-7B・Fully Open Research MoE LLM・1.3B active params per token + 7B total params (8 experts × 875M per expert)・Apache 2.0 license + Industry-leading Open data + Open code + Open weights + Open training logs comprehensive openness・OLMo (Open Language Model) family MoE variant + Academic AI research Industry-leading transparency。

Allen AI 2024年9月発表完全オープン MoE LLM。総7B / アクティブ 1.3B・学習データ・コード・チェックポイント全公開

2024年12月20日OpenAI announce o3。Pro AGI Benchmark ARC-AGI 87.5% Pro Famous類無し + Pro 推論Cost $20-3000/Task + Pro Frontier Math 25.2% + Pro Codeforces 2727 Elo + Pro o1後継Pro Mainstream Top + 2025-04 o3 Full + Pro o4-mini対応 + 累計2024-2025年1年Heritage Pro Top独占。

OpenAI が 2024 年 12 月に発表した推論特化型 LLM。o1 の後継として、数学・科学・コーディング分野で人間の専門家レベルの推論能力を実現した次世代モデル。

米 OpenAI 2025年2月発表の推論モデルコスパ。o3 ベース + 主流コスパ + 数学 + コーディング主流・$1.10/1M input + $4.40/1M output・「推論モデルコスパ業界主流」.

2023年Google Research発表AudioPaLM・Industry-leading PaLM + speech tokens audio LLM + Industry-leading unified speech+text generation + Industry-leading Google Research audio LLM foundation + Industry-leading large language model audio。

音声と映像を同時に理解・生成するマルチモーダルLLM。動画の音声認識・シーン解析・感情認識などを統合処理する。

AutoML Framework。H2O.ai AutoML 3.46 (FOSS)・H2O Driverless AI (商用)・AutoGluon 1.x (Amazon)・AutoKeras 2.x・PyCaret 3.x・TPOT 0.12 (Genetic)・AutoSklearn・FLAML (Microsoft Fast)・LightAutoML (Sber)・mljar AutoML・AutoML-Zero (Google)・FedML AutoML・OpenML・Vertex AI AutoML・Azure AutoML・¥0 OSS-¥¥¥¥¥/月、2026年LLM Driven AutoML増加。