AI・機械学習用語集

LLMのプログラミング能力を測定するコード生成ベンチマーク。HumanEval は164問のPython関数生成タスク、MBPP は974問の基本プログラミング問題で構成される。

2021年OpenAI公開HumanEval。Pro 業界Pro Mainstream AI Coding Bench先駆 + Pro OpenAI + Pro Codex論文同時発表 + Pro 164問Python関数生成 + Pro Pass@k評価指標 + Pro MIT License + 累計2021-2026年5年Heritage継承代表機。

OpenAIが2021年に公開したLLMコード生成評価ベンチマーク。Pythonの164問の関数補完タスクで構成され、pass@k指標でモデルの正解率を測定する。

OpenAI が2021年に公開した LLM のコード生成能力を評価するベンチマーク。164問の Python プログラミング問題で構成され、モデルが生成したコードがユニットテストを通過するかで正解判定する。Pass@k 指標で評価され、コード生成 LLM の標準的な評価基準として広く使用されている。

2022年Raza Habib (UCL Machine Learning PhD) 創業のHumanloop・Enterprise向けLLM Prompt Engineering + Evaluation platform。Prompt Versioning + A/B Test + Human-in-the-Loop Eval + LLM-as-Judge + Production Monitoring統合・Sequoia Capital + Y Combinator S20採択・$10M Series A 2023年・Duolingo/Vanta/Filevine等のEnterprise顧客採用・LangChain LangSmith / Langfuse / Braintrust の競合プロプライエタリ製品。

2024年4月公開Hume EVI(Empathic Voice Interface)。Pro 業界初Mainstream Empathic Voice AI Pro Famous + Pro 感情認識Top独占 + Pro Conversational AI業界出発点 + Pro 53感情検出 + Pro Voice Agent対応 + Pro Alan Cowen Pro CEO主導 + 2024-12 EVI 2公開 + 累計2024-2025年Heritage。

Transformerの各層のAttentionパターンの違いに応じてKVキャッシュ予算を層ごとに変動配分し、全体の圧縮効率を高めるKVキャッシュ最適化手法。

2024年12月Microsoft発表Phi-4 14B・Industry-leading 14B parameters + Industry-leading synthetic data training + Industry-leading reasoning-focused + Industry-leading MIT license Microsoft Phi-4 small efficient LLM flagship 2024。

Transformer の位置エンコーディング手法で、学習可能な関数補間（functional interpolation）により相対位置情報を表現し、訓練時より長いシーケンスへの長さ外挿（length extrapolation）を可能にする手法。

Microsoft 2024年8月発表 SLM (Small LM)。総42B / アクティブ 6.6B MoE・GPT-3.5 Turbo 凌駕・モバイル動作可能

2024年Microsoft発表Phi-3 textbooks・Industry-leading textbook quality synthetic data + Industry-leading "Textbooks Are All You Need" methodology + Industry-leading Phi-3-mini 3.8B SLM + Industry-leading high-quality data > scale paradigm。

Microsoftが2024年に公開した小型MoEモデル。16エキスパート中2エキスパートを選択するアーキテクチャで、有効パラメータ6.6B相当ながら高性能を達成。128Kコンテキスト対応。

Microsoftが2024年8月にリリースした16x3.8B構成のMoEモデル。総42B・活性6.6Bパラメータで128Kコンテキストに対応し、小型MoEの高効率・高性能を実証した。

Microsoftが2024年12月にリリースした14Bパラメータの高性能小型LLM。合成データと厳選テキストで学習し、数学・コード推論でGPT-4oに匹敵するスコアを達成。

Microsoftが2024年12月に公開した140億パラメータの小型言語モデル。合成データ中心の訓練手法により数学推論で GPT-4o を超えるスコアを達成した。

MicrosoftのPhi-4シリーズのマルチモーダル版。5.6Bパラメータで音声・画像・テキストの3モダリティを単一モデルで処理し、Qualcomm NPU向け最適化でエッジAI用途に特化。

Microsoftが開発した小型高性能LLMシリーズPhi-4のコンパクト版。3.8Bパラメータながらコーディング・推論タスクで同クラス最高水準を達成し、オンデバイスAIやエッジ推論向けに最適化されている。

2024年HuggingFace共同発表FineWeb・Industry-leading 15T tokens Quality-Filtered Pretraining Dataset + Industry-leading Common Crawl quality filtering + Industry-leading FineWeb-Edu educational subset + Industry-leading HuggingFace Industry-leading Open-source AI hub backing。

HuggingFaceが公開した教育品質フィルタ済みWebテキストデータセット。CommonCrawlから1.3兆トークンを収録し、LLaMA-3ベースの教育スコアラーで高品質コンテンツのみを選別する。MMLU・ARC等のベンチマークで同規模データセットを凌駕。

LLM Fine-Tuning Stack。LoRA (Low-Rank Adaptation・rank 8-64)・QLoRA (4bit Quantized LoRA・bitsandbytes)・DoRA (Decomposed)・Unsloth 2025.x (2-5x faster・Free Tier)・Axolotl 0.x (YAML Config)・torchtune 0.5 (PyTorch official)・LLaMA-Factory・Hugging Face TRL 0.13・PEFT 0.14・Liger Kernel (Triton)・FSDP/DeepSpeed Zero、2026年GRPO RL Fine-Tune普及。