1978件の用語
Distributed AI Inference。vLLM Multi-Node (Tensor Parallel+Pipeline Parallel・8x H200)・Ray Serve 2.40 (Anyscale)・SkyPilot 0.7 (Multi-Cloud訓練+推論)・Determined AI (HPE)・Modular MAX 25.x・KubeRay (k8s Ray Operator)・Argo Workflow・Kueue (k8s Job Scheduler)・KubeFlow Training Operator・LLM-d (Kubernetes Distributed)・FleetingAI・¥0 OSS・Multi-Region Inference、2026年LLM-d k8s Native普及。
Distributed Training戦略。DDP Distributed Data Parallel (PyTorch・Replica×N)・FSDP/FSDP2 Fully Sharded Data Parallel・ZeRO-1/2/3 (DeepSpeed)・Tensor Parallelism TP (Megatron・Layer内Slice)・Pipeline Parallelism PP (Layer分割・GPipe・Interleaved 1F1B)・Sequence Parallelism SP・Context Parallelism CP・Expert Parallelism EP (MoE)・3D/4D Parallelism・¥0 OSS・H200×8 70B Train、2026年4D Parallel普及。
Shanghai AI LaboratoryがAlpaGasusを発展させ複雑性と品質の両スコアを組み合わせたSFTデータ選定手法。多様性制御も加えた2024年の体系的データキュレーションフレームワーク。
2022年OpenAI発表Tiktoken paper・Industry-leading OpenAI Fast BPE Tokenizer + Industry-leading GPT-3.5 + GPT-4 + GPT-4o optimized + Industry-leading Rust implementation high-performance。
OpenAIが開発・公開したByte Pair Encodingベースのトークナイザーライブラリ。Rustで実装された高速な実行性能が特徴で、GPT-3.5/4/4o・Llama-3で採用されている。cl100k_base（100,256 vocab）とo200k_base（200,019 vocab）の2種類が主要バリアント。
2018年TikTok公開For You(2016-Douyin中国 + 2018-08 TikTok公開)。Pro 業界Pro Mainstream Short Video Recommendation Top + Pro Engagement中心アルゴリズム + Pro Watch Time + Pro Like/Comment/Share + Pro Zhang Yiming Pro ByteDance創設者 + Pro 累計世界10億+ User + 2024-Pro CapCut AI + 累計2016-2025年9年Heritage。
2024年DiP-mark team発表DiP-mark paper・Industry-leading Distortion-free Pseudo-random watermark + Industry-leading distortion-free token selection + Industry-emerging DiP-mark distortion-free Pioneer。
LLM生成テキストの無損失ウォーターマーク手法。トークン分布を再配分してウォーターマーク信号を埋め込みつつ、期待テキスト品質を理論的に保証する。
Microsoft Researchが2024年に提案したアテンション改良。2つのSoftmaxアテンションマップの差分を取ることで共通ノイズを打ち消し、本当に重要な文脈に注意を集中させる。長文での幻覚（ハルシネーション）低減に寄与する。
Microsoft Researchが2024年に提案したアテンション機構。2つのソフトマックスアテンションマップの差分を取ることで、LLMが苦手とする無関係なコンテキストへの注意（アテンションノイズ）を打ち消し、ハルシネーション削減と長文精度向上を実現する手法。
Diffusion + Transformer統合アーキテクチャ(DiT)。Stable Diffusion 3.5・FLUX.1・OpenAI Sora 2・Google Veo 3・Kling AI v2・Runway Gen-4・Pika 2.5・Hunyuan Video採用、UNet代替のTransformerでスケーラブル化、2026年は10-60秒動画生成品質大幅向上+マルチ物理シミュ。
**Diffusion Model（拡散モデル）とは何か？**
2024年3月12日Cognition Labs公開Devin。Pro 業界初Mainstream AI Software Engineer Pro Famous + Pro Autonomous Coding Agent + Pro SWE-Bench 13.86%(GPT-4 1.96%超越) + Pro Scott Wu Pro CEO主導 + Pro Founders Fund投資 + Pro $2B Valuation + 2024-12 Devin GA + 2025-Pro Devin 2公開予定 + 累計2024-2025年Heritage。
Data Augmentationは、人工知能・機械学習分野における重要な概念・技術です。
Data+Model Versioning。DVC Data Version Control 3.x (Iterative・FOSS)・DVC Studio・LakeFS 1.x (Treeverse・Object Storage Branching)・Pachyderm 2.10・Delta Lake 4.x (Databricks)・Apache Iceberg 1.7・Apache Hudi 1.0・Project Nessie (Git for Data)・Quilt Data・git-lfs (Large File)・Hugging Face Hub (Dataset Versioning)・¥0 OSS-¥¥¥¥¥/月、2026年Iceberg+Delta Lake Open Table Format勝者。
2024年Databricks公開DBRX Instruct。Pro 業界Pro Mainstream Databricks独自MoE LLM + Pro 米国San Francisco Databricks + Pro 2013-Databricks設立Apache Spark創始者Matei Zaharia + Pro MoE 132B(36B Active) + Pro 32k Context + Pro DBRX License OSS + Pro Hugging Face公開 + 累計2013-2026年13年Heritage継承代表機。
HuggingFaceが開発するオープンソースのLLM推論サーバー。Flash Attention・Continuous Batching・Tensor Parallelismを標準搭載し、HuggingFace Hub上のモデルを本番品質でサービングするためのリファレンス実装。
OpenAIの第3世代テキスト埋め込みモデル。最大8,192トークン・1536次元・1M tokens $0.02で、RAGやセマンティック検索の標準的な選択肢。
OpenAI 2024年1月発表 Embedding 第3世代。3072次元・MTEB 64.6→71.0・Matryoshka 次元削減対応・$0.13/1M
Yuksekgonul et al.（2024）が提案した自動微分フレームワークの自然言語版。数値勾配の代わりに「テキスト勾配」（LLM が生成する改善方向の自然言語フィードバック）を逆伝播し、プロンプト・コード・分子構造などを最適化する。