1978件の用語
Alibaba DAMO Academyが開発した動画特化のLarge Language Model第3世代。フレーム適応型サンプリングとSpatial-Temporal Poolingにより長尺動画の効率的な理解を実現し、主要オープンモデルと競合する性能を持つ。
2023年Vector Institute Toronto + University of Toronto共同発表Hidet paper・Industry-emerging Python DSL Tensor Compiler + Industry-leading task-mapping programming model + Industry-leading PyTorch + Hugging Face integration + Industry-leading Vector Institute Toronto + University of Toronto academic AI research integrated foundation。
生数科技（Shengshu Technology）が開発した4K解像度・最大16秒対応の高品質テキスト動画生成モデル。参照画像入力・カメラ軌跡制御・キャラクター一貫性で商用グレードの品質を実現した中国発動画AIの代表格。
2021年OpenAI公開HumanEval。Pro 業界Pro Mainstream AI Coding Bench先駆 + Pro OpenAI + Pro Codex論文同時発表 + Pro 164問Python関数生成 + Pro Pass@k評価指標 + Pro MIT License + 累計2021-2026年5年Heritage継承代表機。
OpenAIが2021年に公開したLLMコード生成評価ベンチマーク。Pythonの164問の関数補完タスクで構成され、pass@k指標でモデルの正解率を測定する。
2022年Raza Habib (UCL Machine Learning PhD) 創業のHumanloop・Enterprise向けLLM Prompt Engineering + Evaluation platform。Prompt Versioning + A/B Test + Human-in-the-Loop Eval + LLM-as-Judge + Production Monitoring統合・Sequoia Capital + Y Combinator S20採択・$10M Series A 2023年・Duolingo/Vanta/Filevine等のEnterprise顧客採用・LangChain LangSmith / Langfuse / Braintrust の競合プロプライエタリ製品。
2024年4月公開Hume EVI(Empathic Voice Interface)。Pro 業界初Mainstream Empathic Voice AI Pro Famous + Pro 感情認識Top独占 + Pro Conversational AI業界出発点 + Pro 53感情検出 + Pro Voice Agent対応 + Pro Alan Cowen Pro CEO主導 + 2024-12 EVI 2公開 + 累計2024-2025年Heritage。
Transformerの各層のAttentionパターンの違いに応じてKVキャッシュ予算を層ごとに変動配分し、全体の圧縮効率を高めるKVキャッシュ最適化手法。
2024年12月Microsoft発表Phi-4 14B・Industry-leading 14B parameters + Industry-leading synthetic data training + Industry-leading reasoning-focused + Industry-leading MIT license Microsoft Phi-4 small efficient LLM flagship 2024。
Transformer の位置エンコーディング手法で、学習可能な関数補間（functional interpolation）により相対位置情報を表現し、訓練時より長いシーケンスへの長さ外挿（length extrapolation）を可能にする手法。
Microsoft 2024年8月発表 SLM (Small LM)。総42B / アクティブ 6.6B MoE・GPT-3.5 Turbo 凌駕・モバイル動作可能
2024年Microsoft発表Phi-3 textbooks・Industry-leading textbook quality synthetic data + Industry-leading "Textbooks Are All You Need" methodology + Industry-leading Phi-3-mini 3.8B SLM + Industry-leading high-quality data > scale paradigm。
Microsoftが2024年に公開した小型MoEモデル。16エキスパート中2エキスパートを選択するアーキテクチャで、有効パラメータ6.6B相当ながら高性能を達成。128Kコンテキスト対応。
Microsoftが2024年8月にリリースした16x3.8B構成のMoEモデル。総42B・活性6.6Bパラメータで128Kコンテキストに対応し、小型MoEの高効率・高性能を実証した。
Microsoftが2024年12月に公開した140億パラメータの小型言語モデル。合成データ中心の訓練手法により数学推論で GPT-4o を超えるスコアを達成した。
Microsoftが2024年12月にリリースした14Bパラメータの高性能小型LLM。合成データと厳選テキストで学習し、数学・コード推論でGPT-4oに匹敵するスコアを達成。
MicrosoftのPhi-4シリーズのマルチモーダル版。5.6Bパラメータで音声・画像・テキストの3モダリティを単一モデルで処理し、Qualcomm NPU向け最適化でエッジAI用途に特化。
Microsoftが開発した小型高性能LLMシリーズPhi-4のコンパクト版。3.8Bパラメータながらコーディング・推論タスクで同クラス最高水準を達成し、オンデバイスAIやエッジ推論向けに最適化されている。
2024年HuggingFace共同発表FineWeb・Industry-leading 15T tokens Quality-Filtered Pretraining Dataset + Industry-leading Common Crawl quality filtering + Industry-leading FineWeb-Edu educational subset + Industry-leading HuggingFace Industry-leading Open-source AI hub backing。
HuggingFaceが公開した教育品質フィルタ済みWebテキストデータセット。CommonCrawlから1.3兆トークンを収録し、LLaMA-3ベースの教育スコアラーで高品質コンテンツのみを選別する。MMLU・ARC等のベンチマークで同規模データセットを凌駕。