AI・機械学習用語集

LLMの事前学習において、Web・書籍・コード・数学・会話など異なるドメインのデータをどのような比率で混合するかを決定する戦略。DoReMiやSlimPajama等の研究でドメイン比率がモデル性能に大きく影響することが示されている。

データセットの品質がマルチモーダルモデルの性能に与える影響を体系的に評価するためのベンチマーク。同一のモデルアーキテクチャと学習設定で、データセットのみを変数として競い合うコンペティション形式で運営される。

データ分析・予測モデリング学問領域。Python pandas 2.3・NumPy 2.2・Polars 1.20・PyTorch 2.5・scikit-learn 1.6・Jupyter Lab 4・Kaggle・Google Colab・DataBricksが代表ツールで、CSV/Parquet分析で2026年も主力。

データ順序最適化（Data Ordering Optimization）とは、機械学習モデルの訓練時に、データサンプルを提示する順序を戦略的に設計することで、学習効率や最終性能を改善する手法群の総称である。カリキュラム学習の中核技術であり、LLMの大規模事前学習では数兆トークンの処理順序が収束速度と最終精度に直接影響する。

AI学習用データ集合。Kaggle・Hugging Face Datasets・ImageNet 21K・COCO・MMLU・HumanEval・GSM8K・RedPajama 30T・DCLM-Pool-7Tが代表で、CSV/Parquet/Arrow/JSONL形式、1GB-数TB規模。

大規模な訓練データセットの情報を極少数の合成サンプルに圧縮する技術。圧縮後の小規模データセットで学習しても元のフルデータセットと同等の性能を達成することを目指す。

AI学習/分析用のデータ源。Hugging Face Datasets・Kaggle・Common Crawl・GitHub・Wikipedia・arXiv・Reddit・RedPajamaが主要で、Llama 3.3/Qwen3/Mistral Large 2は15T-20Tトークン規模で学習。

データ根拠の意思決定手法。Amplitude・Mixpanel・Google Analytics 4・PostHog・LogRocket・Looker Studio・Tableau・Metabaseが代表BIツールで、A/Bテスト（Optimizely・VWO）+コホート分析で継続改善。

Data+Model Versioning。DVC Data Version Control 3.x (Iterative・FOSS)・DVC Studio・LakeFS 1.x (Treeverse・Object Storage Branching)・Pachyderm 2.10・Delta Lake 4.x (Databricks)・Apache Iceberg 1.7・Apache Hudi 1.0・Project Nessie (Git for Data)・Quilt Data・git-lfs (Large File)・Hugging Face Hub (Dataset Versioning)・¥0 OSS-¥¥¥¥¥/月、2026年Iceberg+Delta Lake Open Table Format勝者。

同一のモデルを複数のデバイスに複製し、学習データを分割して各デバイスで並列に勾配計算を行った後、勾配を集約してパラメータを同期更新する分散学習の基本手法。

LLMの学習データの品質を数値指標で自動評価する手法。パープレキシティ、教育的価値、事実正確性などの観点からテキストにスコアを付与し、高品質データの選択的利用を可能にする。

LLMの学習データから低品質・有害・冗長なテキストを除去するプロセス。fastTextやKenLMによる分類器ベースのフィルタリング、URL blacklist、perplexityスコアに基づくルールベースの手法を組み合わせて実施する。

データフライホイールにおけるアクティブラーニングとは、本番環境で収集された大量の推論ログ・フィードバックデータから、モデル改善に最も寄与する高価値サンプルを自動的に選定する手法である。不確実性サンプリング・多様性サンプリング・委員会クエリ等の戦略により、限られたアノテーション予算で最大のモデル性能向上を実現する。

HITL（Human-in-the-Loop）とは、LLMデータフライホイールにおいて人間のアノテーターがモデル出力の評価・修正・正解データ作成に介入するプロセスである。完全自動化が困難な品質判断・倫理判断・ドメイン専門知識を要する評価を人手で行い、モデルの継続改善に不可欠な高品質教師データを生成する。

LLMデータフライホイールにおけるフィードバックループとは、本番環境でのモデル推論結果に対するユーザーの明示的・暗黙的な反応を体系的に収集し、モデル改善のための信号として構造化する仕組みである。thumbs up/down・テキスト編集・リジェネレーション・セッション離脱などの多層的なフィードバック信号を統合的に活用する。

データフライホイール本番パイプラインとは、LLMの推論ログ収集からモデル再学習・再デプロイまでの一連のMLOpsワークフローを自動化し、継続的なモデル改善サイクルを本番環境で安定運用するためのエンドツーエンドのシステム基盤である。CI/CDの概念をML領域に拡張したCT（Continuous Training）パイプラインが中核となる。

2024年Databricks公開DBRX Instruct。Pro 業界Pro Mainstream Databricks独自MoE LLM + Pro 米国San Francisco Databricks + Pro 2013-Databricks設立Apache Spark創始者Matei Zaharia + Pro MoE 132B(36B Active) + Pro 32k Context + Pro DBRX License OSS + Pro Hugging Face公開 + 累計2013-2026年13年Heritage継承代表機。

分散学習の最も基本的な手法。モデル全体を各GPUに複製し、学習データのミニバッチを各GPUに分配して並列に前方伝播・後方伝播を実行する。各GPUで計算した勾配をAllReduceで集約・平均してパラメータを同期更新する。

HuggingFaceが開発するオープンソースのLLM推論サーバー。Flash Attention・Continuous Batching・Tensor Parallelismを標準搭載し、HuggingFace Hub上のモデルを本番品質でサービングするためのリファレンス実装。

LLMのデコード段階でトークン選択確率に統計的バイアスを加え、生成テキストに不可視の透かし信号を埋め込む手法。人間には自然な文章に見えるが、秘密鍵を用いた統計検定でAI生成を判定できる。