AI・機械学習用語集

Extrapolation Algorithm for Greater Language-model Efficiency。LLMの特徴量（隠れ状態）レベルで動作する自己回帰ドラフトモデルを使い、追加パラメータを最小限に抑えながら3〜4倍の推論高速化を実現する投機的デコード手法。

2024年9月01.AI発表Yi-Coder・Industry-leading 1.5B/9B code LLM + Industry-leading 52 programming languages + Industry-leading 128K context + Industry-leading 01.AI Yi-Coder Apache 2.0 efficient code LLM 2024。

LLMテキスト生成において、動的な確率閾値（η）を適用し確率が低すぎるトークンを自動除外するデコーディング手法。エントロピーに基づいて閾値を動的に変化させることで、ニュークリアスサンプリングの固定閾値の問題を解決する。

Elastic Weight Consolidationの略。ニューラルネットワークの継続学習において、過去タスクで重要だったパラメータに強い正則化をかけ、壊滅的忘却を防ぐ手法。フィッシャー情報行列を用いて各パラメータの重要度を推定する。

Microsoft Research が 2024 年に発表した、大規模視覚言語モデルを画像とテキストを同一空間で比較できる単一ベクトル埋め込みモデルに変換するフレームワーク。

E5-Mistral（E5-Mistral-7B-Instruct）とは、MicrosoftがMistral 7Bをベースに開発したLLMベースの埋め込みモデルである。デコーダアーキテクチャの大規模言語モデルを埋め込みタスクに転用し、MTEBベンチマークで最高水準のスコアを記録した。合成データによる学習手法でも注目を集めている。

Microsoft 2024年1月発表 LLM ベース Embedding。Mistral 7B fine-tune・4096次元・MTEB 66.6・GPT-4 合成データ学習

2023年Microsoft (Wang et al.)発表E5-Mistral-7B・Industry-leading Mistral-7B decoder embedding + Industry-leading 4096-dim + Industry-leading 32K context + Industry-leading MTEB top + Industry-leading instruction-tuned embedding。

2024年1月Microsoft Research公開E5-Mistral-7B-Instruct。Pro 業界Pro Mainstream LLM-based Embedding先駆 + Pro Mistral 7B基盤 + Pro Instruction-tuned + Pro Liang Wang Pro主要研究員 + Pro 32K Token + Pro MIT License + Pro Hugging Face MTEB Top + 累計2022-2025年3年Heritage。

MicrosoftがMistral-7B-Instructをベースに微調整した高性能テキスト埋め込みモデル。最大32,768トークンの超長文に対応し、インストラクション（タスク指示）を先頭に付加することでドメイン特化の埋め込みを生成できる特徴を持つ。

Microsoft が2023年に公開した LLM ベースのテキスト埋め込みモデル。Mistral-7B を基盤に対照学習でファインチューニングし、4,096トークンの長文入力と高精度な検索・分類・クラスタリングを実現するオープンソースモデル。

E5-Mistral-7B-Instructは、テキストを意味情報を持つ高次元ベクトル（埋め込み）に変換する高性能なエンベディングモデルです。これにより、単なるキーワードマッチングではない高度なセマンティック検索を実現します。

EV車載AI Compute。Tesla HW5/AI5 (2025-Q4 Cybertruck Native・10x HW4 perf)・HW4 Ryzen ベース・FSD Computer・Mobileye EyeQ6 High/Lite (TSMC 7nm・34 TOPS)・EyeQ Ultra (176 TOPS 2026 Q4)・NVIDIA Drive Thor (2025-Q4 量産・1000 TFLOPS FP4)・Drive Atlan (代替廃止)・Qualcomm Snapdragon Ride・Horizon Robotics Journey 6・Black Sesame BST-A2000・¥¥¥¥¥¥¥ Auto Industry、2026年Drive Thor大量採用。

個人傷害（Personal Injury）訴訟に特化したAIプラットフォーム。医療記録・事故報告書・保険書類を解析し、損害賠償請求書（Demand Letter）を自動生成する。2024年Series Cで1億3500万ドルを調達し、PI専門ローファームの業務自動化ツールとして急成長している。

Guo et al.（2023）が提案した、遺伝的アルゴリズム・差分進化などの進化的アルゴリズムを LLM プロンプト最適化に応用した手法。プロンプト「個体」を選択・交叉・突然変異させて高品質な指示文を探索する。

2024年01.AI公開Yi-Lightning。Pro 業界Pro Mainstream中国製LLM高速推論Top + Pro 中国Beijing 01.AI + Pro Kai-Fu Lee CEO元Google China + Pro MoE Architecture高速 + Pro 32k Context + Pro Chatbot Arena Top10 + Pro Function Calling + Pro $0.14/1M tokens超低価格 + 累計2023-2026年3年Heritage継承代表機。

Transformerアーキテクチャにおいて、入力トークンの順序情報をモデルに伝えるための手法。Self-Attentionは本来トークンの並び順を区別できないため、位置エンコーディングによって系列内の各トークンがどの位置にあるかを表現する。

2024年5月Google DeepMind発表Imagen 3・Industry-leading state-of-art Google text-to-image + Industry-leading photorealistic + Industry-leading SynthID watermark + Industry-leading Google DeepMind Imagen 3 Vertex AI image generation 2024。

GoogleとDeepMindが共同開発した高品質テキスト→画像生成モデル。Vertex AI APIとGemini経由で提供され、SynthID電子透かしとC2PAメタデータによる生成物識別機能を標準搭載する。

Meta AI が 2023 年に発表した、画像・テキスト・音声・深度・熱・IMU の 6 モダリティを単一の埋め込み空間に統合するマルチモーダル埋め込みモデル。