AI・機械学習用語集

Mistral AIが2024年5月にリリースした22Bパラメータのコード生成特化LLM。80以上のプログラミング言語をサポートし、Fill-in-the-Middle（FIM）タスクに最適化されている。

Mistral AIが2024年5月に公開したコーディング特化LLM。22Bパラメータで80以上のプログラミング言語に対応し、HumanEval 81.1%を達成。MistralのAPIおよびローカル実行で利用可能。

2023年Meta AI発表CodeLlama・Industry-leading Meta code generation LLM + Industry-leading 7B/13B/34B/70B + Industry-leading 16K-100K context + Industry-leading Python+Instruct variants。

MetaがLlama 2をベースに2024年1月に公開したコード特化LLMの最大版。70Bパラメータを持ち、100,000トークンのコンテキストウィンドウを備える。Python特化バージョン（CodeLlama-70B-Python）と指示追従バージョン（Instruct）が用意される。

言語処理 / AI 訓練のために体系的に集められたテキスト・音声・画像データの集合。Common Crawl / Wikipedia / The Pile 等が代表で、LLM 訓練の基盤となる。

Google製Edge AI推論アクセラレータ。USB Accelerator(¥10,000)/Dev Board/M.2/PCIe形式。INT8 4 TOPS @ 2W、ML推論専用。

2024年Zhipu AI発売CogVLM・Industry-leading Zhipu Chinese Vision-Language Model + Industry-leading Visual Expert architecture + Industry-leading deep visual integration + Industry-emerging CogVLM Zhipu Pioneer。

Zhipu AI（智谱AI）とTHUDMが2024年8月に公開したOSS動画生成モデル。SATフレームワーク上で動作し2B/5B/10Bモデルを提供、LoRAファインチューニングにも対応する。

Hexgradが開発した約8,200万パラメータの軽量オープンソーステキスト読み上げモデル。英語・日本語・フランス語等に対応し、ONNX形式でCPU推論も可能。v1.1では50種以上の音声スタイルを選択できる。

コサイン関数に従って学習率を緩やかに減衰させるスケジュール手法。LLM訓練における事実上の標準Decay方式で、滑らかな減衰により安定した収束を実現する。

コサイン関数の半周期を利用して学習率を最大値から最小値まで滑らかに減衰させるスケジューリング手法。LLM 訓練では Llama 3・GPT-4・Mistral など主要モデルがほぼ例外なく採用しており、2026 年時点で事実上の業界標準スケジューラである。

LLMの運用コストをリアルタイムに監視し、予算制約・コスト効率・ROIに基づいてモデル選択やリクエスト配分を動的に最適化するルーティング戦略。月間予算上限、テナント別課金、トークン単価の変動に対応する。

コスト最適化ルーティング（Cost-Optimized Routing）とは、LLMのAPI利用コスト・応答品質・レイテンシの三軸トレードオフを最適化するルーティング戦略の総称である。リクエストごとに品質要件を満たす最安のモデルを選択することで、品質を維持しつつ全体コストを最小化する。Unify.ai、Martian、Portkey.ai等のプラットフォームがリアルタイムのコスト最適化ルーティングを提供しており、企業のLLM運用費削減の中核技術として急速に普及している。

Claude Cost optimization。Pricing比較(per Mtok input/output): Opus 4.7 $15/$75・Sonnet 4.6 $3/$15(-80% cost)・Haiku 4.5 $0.80/$4(-95% cost)・Use case別選択: Opus = Math/Science/Complex Code/Research・Sonnet = Daily coding/Refactoring/Documentation/Standard Q&A・Haiku = Customer support/Voice realtime/Simple Q&A/Translation・Cost reduction techniques: Prompt Caching(-90%・cached input)・Batch API(-50%・24h処理OK時)・Model downsizing(Opus → Sonnet適時)・Extended Thinking selective(Reasoning task限定)・Streaming(faster perceived・cost同)・Subagents(separate context・total token効率)・2026年 enterprise budget管理 Sonnet主体 + Opus complex limited。

HuggingFaceが2024年に公開した合成テキストデータセット。Mixtral-8x7B-Instructが生成した30B tokens・3,000万件の教科書・ストーリー・Wikipedia記事スタイルの教育コンテンツ。SmolLMの学習に活用された。

Microsoftが定義する、強力なNPUを搭載し、デバイス上での高度なAI処理（ローカルAI）に特化した次世代Windows PCのブランド規格。

Microsoft認定の高性能AI PC。100TOPS以上のNPU搭載が要件

2024年成熟Cohere embed-v3・Industry-leading 1024d default + Industry-leading 100+ languages multilingual + Industry-leading 64.5 MTEB English + Industry-leading Cohere embed-v3 multilingual quality embedding model 2024。

2024年Cohere公開Command R+。Pro 業界Pro Mainstream Enterprise RAG特化LLM + Pro 加国Toronto Cohere + Pro Aidan Gomez CEO元Google Brain Transformer著者 + Pro 104B Parameters + Pro 128k Context + Pro RAG特化 + Pro Tool Use + Pro 多言語10言語 + 累計2019-2026年7年Heritage継承代表機。

2024年4月Cohere公開Rerank 3。Pro 業界Pro Mainstream Reranker API Top + Pro Cohere主導 + Pro 100+言語対応 + Pro Multi-Aspect(Code/Long Document/Tabular) + Pro 4K Token Context + Pro Pay-per-token API + 累計2023-2025年2年Heritage継承代表機。