2472件の用語
Microsoftが提案した1bit級LLMアーキテクチャ。重みを{-1,0,+1}の三値（1.58bit）で表現するBitNet b1.58が代表で、行列乗算を加減算に置換し大幅な省メモリ・省電力を狙う次世代量子化。
MicrosoftがArXivで2023年10月発表した1-bit Large Language Model。モデルの重みをすべて{-1, 0, +1}の3値（実質1.58bit）に限定し、行列乗算を加算のみで実行可能にする革新的な量子化訓練アーキテクチャ。
Microsoftが2024年に発表した1.58ビット量子化LLMアーキテクチャ。全重みを{-1, 0, +1}の3値で表現し、FP16比でVRAM 1/16・推論コスト大幅削減を実現する。
Microsoft 2024年 1.58-bit 量子化 LLM 学習手法。{-1, 0, +1} 三値重みで FP16 比 16倍メモリ削減・推論コスト 70% 減
Shanghai AI Labが2023-2024年に発表した会話型動画理解モデル。MVBenchベンチマークを提唱し、高品質なInstructデータと時空間モデリングで動画Q&A精度を向上させた。
画像と動画を統合的に理解できるマルチモーダルLLM。視覚トークンを言語空間に整列させることで、単一モデルで画像・動画双方の質問応答を実現する。
AlibabaグループのDamo Academyが開発したLLaMA3ベースの動画理解LLM。長時間動画・OCR・音声を含む総合的なマルチモーダル理解を実現。SigLIP視覚エンコーダを採用。
Alibaba DAMO Academyが開発した動画特化のLarge Language Model第3世代。フレーム適応型サンプリングとSpatial-Temporal Poolingにより長尺動画の効率的な理解を実現し、主要オープンモデルと競合する性能を持つ。
2023年Vector Institute Toronto + University of Toronto共同発表Hidet paper・Industry-emerging Python DSL Tensor Compiler + Industry-leading task-mapping programming model + Industry-leading PyTorch + Hugging Face integration + Industry-leading Vector Institute Toronto + University of Toronto academic AI research integrated foundation。
生数科技（Shengshu Technology）が開発した4K解像度・最大16秒対応の高品質テキスト動画生成モデル。参照画像入力・カメラ軌跡制御・キャラクター一貫性で商用グレードの品質を実現した中国発動画AIの代表格。
LLMのプログラミング能力を測定するコード生成ベンチマーク。HumanEval は164問のPython関数生成タスク、MBPP は974問の基本プログラミング問題で構成される。
2021年OpenAI公開HumanEval。Pro 業界Pro Mainstream AI Coding Bench先駆 + Pro OpenAI + Pro Codex論文同時発表 + Pro 164問Python関数生成 + Pro Pass@k評価指標 + Pro MIT License + 累計2021-2026年5年Heritage継承代表機。
OpenAIが2021年に公開したLLMコード生成評価ベンチマーク。Pythonの164問の関数補完タスクで構成され、pass@k指標でモデルの正解率を測定する。
OpenAI が2021年に公開した LLM のコード生成能力を評価するベンチマーク。164問の Python プログラミング問題で構成され、モデルが生成したコードがユニットテストを通過するかで正解判定する。Pass@k 指標で評価され、コード生成 LLM の標準的な評価基準として広く使用されている。
2022年Raza Habib (UCL Machine Learning PhD) 創業のHumanloop・Enterprise向けLLM Prompt Engineering + Evaluation platform。Prompt Versioning + A/B Test + Human-in-the-Loop Eval + LLM-as-Judge + Production Monitoring統合・Sequoia Capital + Y Combinator S20採択・$10M Series A 2023年・Duolingo/Vanta/Filevine等のEnterprise顧客採用・LangChain LangSmith / Langfuse / Braintrust の競合プロプライエタリ製品。
2024年4月公開Hume EVI(Empathic Voice Interface)。Pro 業界初Mainstream Empathic Voice AI Pro Famous + Pro 感情認識Top独占 + Pro Conversational AI業界出発点 + Pro 53感情検出 + Pro Voice Agent対応 + Pro Alan Cowen Pro CEO主導 + 2024-12 EVI 2公開 + 累計2024-2025年Heritage。
Transformerの各層のAttentionパターンの違いに応じてKVキャッシュ予算を層ごとに変動配分し、全体の圧縮効率を高めるKVキャッシュ最適化手法。
2024年12月Microsoft発表Phi-4 14B・Industry-leading 14B parameters + Industry-leading synthetic data training + Industry-leading reasoning-focused + Industry-leading MIT license Microsoft Phi-4 small efficient LLM flagship 2024。
Transformer の位置エンコーディング手法で、学習可能な関数補間（functional interpolation）により相対位置情報を表現し、訓練時より長いシーケンスへの長さ外挿（length extrapolation）を可能にする手法。
Microsoft 2024年8月発表 SLM (Small LM)。総42B / アクティブ 6.6B MoE・GPT-3.5 Turbo 凌駕・モバイル動作可能