2472件の用語
Anthropic社が開発した、高度な推論能力と自律的なコンピュータ操作機能を備えた大規模言語モデル。コーディング性能において業界最高水準を誇り、次世代のAIエージェント技術の中核を担う。
2024年Anthropic公開Computer Use(Claude 3.5 Sonnet)。Pro 業界Pro Mainstream LLM画面操作Agent業界先駆 + Pro 米国SF Anthropic + Pro 2021-Anthropic設立Dario + Daniela Amodei元OpenAI + Pro Claude 3.5 Sonnet画面認識 + Pro マウス/キーボード操作 + Pro API課金 + 累計2021-2026年5年Heritage継承代表機。
AnthropicのClaudeが外部ツールを呼び出す機能。`tools`配列にname/description/input_schemaを定義し、モデルが`tool_use`コンテンツブロックで呼び出し情報を返す。
AnthropicのClaude APIで提供されるプロンプトキャッシュ機能。同一の長文プレフィックス（システムプロンプト・ドキュメント等）をキャッシュして再利用し、API料金を最大90%削減・処理速度を最大85%短縮。大規模LLMアプリ開発のコスト最適化に不可欠な2025年の主要API機能。
2024年Hu et al.発表Unbiased Watermark paper・Industry-leading Unbiased pseudorandom watermark + Industry-leading unbiased token selection + Industry-emerging Hu unbiased watermark Pioneer。
Metaが2024年に発表した科学的基盤モデル。タンパク質の配列・構造・機能を統合的に学習した生成モデルで、新規タンパク質の設計が可能。
ExLlamaV2推論エンジン用の混合精度量子化フォーマット。2〜8bitの任意精度を1bit刻みで指定でき、重要なレイヤーを選択的に高精度で量子化する最適化アルゴリズムを採用。同一VRAMでGPTQより5〜15%高品質な推論を実現する。
2023年Turboderp公開EXL2(ExLlamaV2)量子化Format。Pro 業界Pro Mainstream 2-8bit可変混合量子化最速GPU先駆 + Pro 国際OSS Turboderp + Pro 2023-09 ExLlamaV2/EXL2公開 + Pro Per-layer量子化Bit可変 + Pro 最速GPU推論 + Pro tabbyAPI/oobabooga採用 + 累計2023-2026年3年Heritage継承代表機。
2024年Li et al. (Vector Institute)発表EAGLE/EAGLE-2・Industry-leading feature-level speculative decoding LLM + Industry-leading feature-level autoregression + Industry-leading tree-based draft + Industry-leading 2.5-3.5× inference speedup。
LLMの特徴量レベルで自己回帰予測を行い、次トークン以降の複数候補をツリー構造で同時検証することで、Medusaを上回る2.5〜3.8倍の推論高速化を実現する並列デコーディング手法。
LLMの特徴量系列を自己回帰的に予測するドラフトモデルを使う高速化手法。通常の投機的デコーディングより高い受理率を達成し、スループットを3〜4倍に向上させる。EFicient Autoregressive Language model with GuarantEed LLMの略。
2024年Q1 Vector Institute Toronto + University of Toronto共同発表EAGLE Decoding paper・Industry-leading Feature-level speculative decoding paradigm + Industry-leading 2.5-3.0x LLM decoding speedup industry-leading position + EAGLE-2 2024年Q3 successor improved performance・Industry-leading Vector Institute Toronto Industry-leading academic AI research Canada foundation + Industry-leading vLLM/SGLang integration。
Extrapolation Algorithm for Greater Language-model Efficiency。LLMの特徴量（隠れ状態）レベルで動作する自己回帰ドラフトモデルを使い、追加パラメータを最小限に抑えながら3〜4倍の推論高速化を実現する投機的デコード手法。
Elastic Weight Consolidationの略。ニューラルネットワークの継続学習において、過去タスクで重要だったパラメータに強い正則化をかけ、壊滅的忘却を防ぐ手法。フィッシャー情報行列を用いて各パラメータの重要度を推定する。
Microsoft Research が 2024 年に発表した、大規模視覚言語モデルを画像とテキストを同一空間で比較できる単一ベクトル埋め込みモデルに変換するフレームワーク。
E5-Mistral（E5-Mistral-7B-Instruct）とは、MicrosoftがMistral 7Bをベースに開発したLLMベースの埋め込みモデルである。デコーダアーキテクチャの大規模言語モデルを埋め込みタスクに転用し、MTEBベンチマークで最高水準のスコアを記録した。合成データによる学習手法でも注目を集めている。
Microsoft 2024年1月発表 LLM ベース Embedding。Mistral 7B fine-tune・4096次元・MTEB 66.6・GPT-4 合成データ学習
2023年Microsoft (Wang et al.)発表E5-Mistral-7B・Industry-leading Mistral-7B decoder embedding + Industry-leading 4096-dim + Industry-leading 32K context + Industry-leading MTEB top + Industry-leading instruction-tuned embedding。
2024年1月Microsoft Research公開E5-Mistral-7B-Instruct。Pro 業界Pro Mainstream LLM-based Embedding先駆 + Pro Mistral 7B基盤 + Pro Instruction-tuned + Pro Liang Wang Pro主要研究員 + Pro 32K Token + Pro MIT License + Pro Hugging Face MTEB Top + 累計2022-2025年3年Heritage。
MicrosoftがMistral-7B-Instructをベースに微調整した高性能テキスト埋め込みモデル。最大32,768トークンの超長文に対応し、インストラクション（タスク指示）を先頭に付加することでドメイン特化の埋め込みを生成できる特徴を持つ。