AI・機械学習用語集

Meta (旧Facebook) 主導開発の Python 機械学習フレームワーク。動的計算グラフ + 研究 + プロダクション両用・GitHub スター82,000+ で世界最大 ML フレームワーク.

Meta AI 2022年12月リリースのPyTorch 2.0。torch.compile+TorchDynamo+Inductor+C++フロントエンド統合・性能2倍向上。

Pytorch Frameworkは、現代の人工知能（AI）および機械学習 (ML) 分野において不可欠な存在となっているオープンソースのソフトウェアフレームワークです。Facebook（現Meta）傘下のAI研究チームによって開発され、その柔軟性と使いやすさから急速に普及し、研究者やエンジニアにとって標準的なツールへと進化しました。PytorchはPythonを基盤としており、動的計算グラフとい

RAG改善技術。クエリに対してLLMが仮想的な回答ドキュメントを生成し、その埋め込みベクトルで検索することで関連文書の召喚精度を向上させる手法。

Gao ら CMU 2022年 RAG 改良手法。LLM で仮想ドキュメント生成→そのembedding で検索→クエリ-ドキュメント間 vocabulary gap 解消

BPE（Byte Pair Encoding）は、テキストをサブワード単位に分割するトークン化アルゴリズムで、GPT系モデルやLLaMA等の大規模言語モデルで標準的に採用されている手法である。

Byte Pair Encoding（BPE）とは、テキスト中の最も頻出する連続バイト/文字ペアを反復的にマージすることで語彙を構築するサブワード分割アルゴリズムである。GPT系、Llama系、Qwen系など主要LLMの大半で採用されるトークナイザの中核技術。

Medusaを拡張した高度な投機的デコーディング手法。マルチヘッドデコードにドラフト検証の改良アルゴリズムを組み合わせ、Medusaの2〜3倍を上回る3〜4倍の推論高速化を単一モデルで実現。

Metaが2024年12月に発表したトークナイザーフリーのLLMアーキテクチャ。生バイト列を直接処理し、エントロピーベースの動的パッチングで計算効率を高める。

BPEの起点をUnicode文字でなくバイト（0-255）にすることで全Unicode文字をOOVなしに表現するトークン化手法。GPT-2で導入され、GPT-4・Llama-3で標準化。256バイトを基本ボキャブラリーとして全言語・絵文字・バイナリデータを統一的にトークン化できる。

バイナリ量子化（Binary Quantization）は、埋め込みベクトルの各次元を1ビット（0または1）で表現する最も極端な量子化手法である。float32比で32倍の圧縮を実現し、ハミング距離によるビット演算で超高速な近似検索が可能になる。

AIモデルの学習/推論を制御する外部設定値。Learning rate・batch size・epoch・temperature・top_p等があり、Optuna・Ray Tuneで自動探索、LLM推論では temperature 0.6-0.8 が標準。

Hyperparameter Optimization。Optuna 4.x (TPE Sampler・Pruning)・Ray Tune 2.40 (Ray・Async)・W&B Sweeps (Bayesian/Grid)・Hyperopt 0.2.7・KerasTuner・SigOpt (Intel)・BoTorch (Meta・PyTorch Bayesian)・SMAC3 (Sequential Model-based)・NNI (Microsoft Maintenance)・Tune (Ray Native)・¥0 OSS-¥¥¥¥¥/月、2026年Optuna Industry Default。

Hyperparameter Tuningは、人工知能・機械学習分野における重要な概念・技術です。

AI主導プログラミング手法(Karpathy提唱2025年)。自然言語指示→AI実装→人手微調整サイクル・Claude Code/Cursor/Windsurf/v0/Bolt.new/Lovable・VibeOS/Skill実装・Scaffold→Iterate→Debug・プログラミング知識不要で動くアプリ構築・2025年インディー開発者爆増・Replit Agent/Loveable/Figma Sites連携・ChatGPT Canvas・2026年Claude Code Skills最有力。

ニューラルネットワークのレイヤー群を複数のデバイスに段階的に配置し、マイクロバッチを流すことでデバイス間の空き時間を最小化しながら大規模モデルを学習する分散並列化手法。

2024年成熟Pipeline Parallelism・Industry-leading GPipe + PipeDream + Megatron-LM PP + Industry-leading partition layers across nodes + Industry-leading micro-batching + Industry-leading multi-node LLM training+inference distributed 2024。

深層学習モデルのレイヤー群を複数のステージに分割し、各ステージを異なるGPU/デバイスに配置して、マイクロバッチをパイプライン的に処理する分散学習手法。モデル並列の一形態で、単一GPUメモリに収まらない大規模モデルの学習を可能にする。

LLM分散学習でモデル層（Transformerブロック）を複数ステージに分割し、異なるGPUグループに割り当てる手法。データのフォワード・バックワードパスを連続的にパイプライン処理することで、モデル並列化によるGPUアイドル時間（バブル）を最小化する。

BM25+ベクトル検索融合。Reciprocal Rank Fusion(RRF)・Weighted Sum・Convex Combination・Qdrant Hybrid・Weaviate Hybrid・Elasticsearch 8.15 Hybrid・Meilisearch v1.11・Pinecone Serverless Hybrid・Typesense 27・pgvector + pg_trgm組合せ・BGE-M3 sparse+dense joint、2026年RAG高精度化の定石。