2472件の用語
2024年Microsoft発表Phi-3 textbooks・Industry-leading textbook quality synthetic data + Industry-leading "Textbooks Are All You Need" methodology + Industry-leading Phi-3-mini 3.8B SLM + Industry-leading high-quality data > scale paradigm。
Microsoftが2024年に公開した小型MoEモデル。16エキスパート中2エキスパートを選択するアーキテクチャで、有効パラメータ6.6B相当ながら高性能を達成。128Kコンテキスト対応。
Microsoftが2024年8月にリリースした16x3.8B構成のMoEモデル。総42B・活性6.6Bパラメータで128Kコンテキストに対応し、小型MoEの高効率・高性能を実証した。
Microsoftが2024年12月に公開した140億パラメータの小型言語モデル。合成データ中心の訓練手法により数学推論で GPT-4o を超えるスコアを達成した。
Microsoftが2024年12月にリリースした14Bパラメータの高性能小型LLM。合成データと厳選テキストで学習し、数学・コード推論でGPT-4oに匹敵するスコアを達成。
MicrosoftのPhi-4シリーズのマルチモーダル版。5.6Bパラメータで音声・画像・テキストの3モダリティを単一モデルで処理し、Qualcomm NPU向け最適化でエッジAI用途に特化。
Microsoftが開発した小型高性能LLMシリーズPhi-4のコンパクト版。3.8Bパラメータながらコーディング・推論タスクで同クラス最高水準を達成し、オンデバイスAIやエッジ推論向けに最適化されている。
2024年HuggingFace共同発表FineWeb・Industry-leading 15T tokens Quality-Filtered Pretraining Dataset + Industry-leading Common Crawl quality filtering + Industry-leading FineWeb-Edu educational subset + Industry-leading HuggingFace Industry-leading Open-source AI hub backing。
HuggingFaceが公開した教育品質フィルタ済みWebテキストデータセット。CommonCrawlから1.3兆トークンを収録し、LLaMA-3ベースの教育スコアラーで高品質コンテンツのみを選別する。MMLU・ARC等のベンチマークで同規模データセットを凌駕。
LLM Fine-Tuning Stack。LoRA (Low-Rank Adaptation・rank 8-64)・QLoRA (4bit Quantized LoRA・bitsandbytes)・DoRA (Decomposed)・Unsloth 2025.x (2-5x faster・Free Tier)・Axolotl 0.x (YAML Config)・torchtune 0.5 (PyTorch official)・LLaMA-Factory・Hugging Face TRL 0.13・PEFT 0.14・Liger Kernel (Triton)・FSDP/DeepSpeed Zero、2026年GRPO RL Fine-Tune普及。
開発者に特化したAI検索エンジン。コード生成、デバッグ、公式ドキュメントの横断検索を強みとし、プログラミングに関する複雑な質問に対して正確な回答とソースへのリンクを提供する次世代ツール。
2022年Lee et al. (Meta AI+NVIDIA)発表FactualityPrompts・Industry-leading factuality prompts benchmark LLM + Industry-leading factual prompts benchmark + Industry-leading 16,000 Wikipedia prompts + Industry-leading NeurIPS 2022。
LLMの長文生成テキストをアトミックな事実命題に分解し、Wikipediaを参照してハルシネーション率を定量評価するフレームワーク（Min et al. 2023）。
2024年Factory公開Droid SWE Agent。Pro 業界Pro Mainstream Enterprise SWE Agent + Pro 米国SF Factory + Pro 2023-Factory設立Matan Grinberg + Eno Reyes + Pro Multi-Agent SWE + Pro PR自動作成 + Pro Linear/Jira統合 + Pro $20-100/月 + 累計2023-2026年3年Heritage継承代表機。
LLMの各Attentionヘッドが示すAttentionパターンの「タイプ」を適応的に識別し、ヘッドタイプに応じた最適なKVキャッシュ圧縮ポリシーを適用する手法。
TII (UAE) 2024年8月発表世界最大級 Pure Mamba LLM。7B パラメータ・5.5T トークン学習・Apache 2.0・無限長 context
UAE・Technology Innovation Institute（TII）が開発した純粋SSMアーキテクチャのLLM。Transformer層を含まず全層Mamba-2ブロックで構成された7Bモデルで、長文シーケンスの線形時間処理と低KVキャッシュを特徴とし、2024年公開。
OpenAIのfunction calling仕様と完全互換のオープンソースLLM。ツール呼び出しと通常応答を同一モデルで処理し、低レイテンシなエージェント構築を実現する。
LLMが自然言語の指示から適切な外部関数・APIを選択し、引数を構造化して呼び出す機能で、LLMと外部システムの連携を可能にする中核技術。
LLMが外部関数・APIを構造化パラメータで呼び出す仕組み。OpenAIが2023年6月に導入し、ツール連携の標準技術となった。