AI・機械学習用語集

DreamerV3はGoogle DeepMindが2023年に発表した汎用世界モデルRLエージェントで、単一のハイパーパラメータセットでAtari・DMControl・Minecraft等12種の異なるタスクドメインで同時に人間超えまたは最先端性能を達成した。

OpenAI が開発した GPU カーネル記述用の Python ベース DSL であり、CUDA の低レベル知識なしに高性能な並列演算カーネルを記述できるコンパイラ言語。

OpenAI が開発した GPU カーネルコンパイラ兼プログラミング言語。Python ライクな構文で CUDA カーネルを記述でき、MLIR ベースの最適化パイプラインにより手書き CUDA に匹敵する性能を自動生成する。PyTorch 2.x の torch.compile バックエンドの中核技術。

2024年VAST AI公開Tripo 2.0。Pro 業界Pro Mainstream Text-to-3D高品質特化 + Pro 中国Beijing VAST AI + Pro 30秒生成 + Pro PBR Texture自動 + Pro Tripo Geometry + Pro オープンソースモデル + 累計2023-2026年3年Heritage継承代表機。

2024年AllenAI (Allen Institute for AI・Industry-leading Open-source AI research lab) 発表Dolma・Industry-emerging Open Training Dataset for OLMo paradigm + Industry-leading 3T tokens v1 + 5T+ tokens v2 + Industry-leading AllenAI Open-source AI research foundation + Industry-leading academic AI research transparency。

Allen AI（AI2）が開発したOLMoモデルの学習に使用されたオープンソースデータセットおよびツールキット。3兆トークン規模のWeb・書籍・論文・コードを含む多ソースコーパスと、そのキュレーションパイプラインを完全公開している。

Allen AI（Ai2）が開発・公開した完全オープンな事前学習データセット。3兆トークンを収録し、OLMoシリーズLLMの訓練データとして使用。データ収集・フィルタリング・重複除去の全工程とコードをApache 2.0ライセンスで公開する透明性が特徴。

機械学習モデルの学習データ（train set）と評価データ（test set）の間にデータの重複が存在する状態。重複があるとモデルの汎化性能を正確に測定できず、楽観的なバイアスを持つ評価結果が得られる。

2023年Microsoft Research + Tsinghua University共同発表Train Long Test Short paper・Industry-emerging length extrapolation training paradigm + Industry-leading train short context + test long context length extrapolation training-time技法 + Industry-leading Microsoft + Tsinghua Industry-leading integrated research foundation。

2023年Nir Gazit (元Google Cloud TPM) 創業のTraceloop・OSS Project OpenLLMetryでLLM Tracing OpenTelemetry標準化を推進。Y Combinator S22採択・GitHub OpenLLMetry Star 4k+ (2024年Q4)・Apache 2.0 License・Python/JS/Go/Ruby SDK提供・OpenAI/Anthropic/Cohere/Mistral/Pinecone/Chroma/LangChain/LlamaIndex 30+ integration・Datadog/Honeycomb/Grafana/New Relic 既存OTel backendと完全互換・LLM specific semantic convention草案 (OTel SIG-LLM) のContributor主軸。

機械学習モデルの学習に使う入力データ。教師あり学習では「入力 + 正解ラベル」のセット、自己教師あり学習では大量の生データを使う。データ品質が精度を決定する。

LLMの学習データから低品質・重複・有害なテキストを自動的に検出・除去するプロセス。ヒューリスティックルールと機械学習分類器を組み合わせて実施される。

LLM Training Framework。PyTorch 2.6+ (torch.compile・FSDP2)・JAX 0.4 (XLA・TPU Native・Pallas)・Flax NNX (JAX高レベル)・Megatron-LM (NVIDIA Tensor+Pipeline Parallel)・DeepSpeed 0.16 (Microsoft・ZeRO-3)・Megatron-DeepSpeed・FSDP2 (Fully Sharded Data Parallel)・FairScale・Liger Kernel (Triton Custom)・torchtitan (PyTorch native LLM)・¥0 OSS、2026年torchtitan注目。

LLM事前学習時のドメイン別データ混合比を、小規模代理モデルの損失を用いて自動最適化するアルゴリズム。2023年Googleが提案。

ミニマックス最適化でLLM事前学習のドメイン別データ配合比率を自動決定するアルゴリズム。小規模プロキシモデルで効率的に最適混合を発見する。

訓練時にニューラルネットワークのニューロンをランダムに一定確率で無効化することで、特徴量の共適応を防ぎ汎化性能を向上させる正則化手法。2012年にHintonらが提案し、深層学習の基盤技術となった。LLMではFine-tuning時に主に使用される。

Natural Language Processingは、人工知能・機械学習分野における重要な概念・技術です。

知識グラフ（エンティティとリレーションの構造化データ）とLLMを統合し、LLM単体では困難な事実の正確性・推論の透明性・知識の更新性を補完する技術アプローチ。GraphRAGやKGQAなど複数の統合パターンが存在する。

知識グラフのエンティティとリレーションを低次元の連続ベクトル空間に埋め込む（Embedding）手法。グラフの構造的パターンを保存したベクトル表現を学習し、リンク予測・エンティティ分類・推論などの下流タスクに利用する。

テキストデータからLLMや自然言語処理技術を用いてエンティティ（実体）と関係を自動抽出し、ナレッジグラフを構築する技術。従来の手動キュレーションに比べ、構築速度を10-100倍に高速化し、大規模コーパスからの知識抽出を実用化する。