AI・機械学習用語集

LSTMの発明者Sepp Hochreiterが2024年に発表した拡張LSTM。行列メモリ（mLSTM）とスカラーメモリ（sLSTM）の2ブロック、指数関数的ゲーティングを採用しGPT-3規模で競合するLLMを構築できる。

MLC AI Teamが開発した高速文法制約デコーディングライブラリ。コンパイル済みオートマトンとGPU並列処理により、ほぼゼロオーバーヘッドで構造化LLM出力を生成する。

コンテキストフリー文法（CFG）を用いてLLMのトークン生成を制約し、任意のスキーマ準拠の構造化出力を高速生成するライブラリ。MLC-AI（TVM）チームが開発。

Tianqi Chen 2014年OSS化のGradient Boostingライブラリ。Kaggleコンペティション+表データ機械学習業界標準・Python/R/Java/Scala対応。

Microsoftが提案したRoPEの拡張版位置エンコーディング。各位置に指数的減衰スケーリングを加えることで、訓練長を大幅に超える長いコンテキストへの安定した外挿を実現する手法。

GPTQ量子化LLMのNVIDIA GPU推論に特化したPythonライブラリ。カスタムCUDAカーネルとEXL2量子化形式で高速・低VRAM推論を実現し、ローカルLLMの推論速度標準として普及。

Edge Aiは、人工知能・機械学習分野における重要な概念・技術です。

Edge AI NPU/Accelerator。Hailo-10H (40 TOPS Edge LLM)・Hailo-15 (28 TOPS Embedded)・Hailo-8L (Raspberry Pi AI Kit M.2)・Coral USB Accelerator/PCIe Edge TPU (Google・4 TOPS)・Rockchip RK3588 (6 TOPS NPU・Orange Pi 5 Plus)・MediaTek Genio・NXP i.MX 95・Texas Instruments TDA4VM・Sophon BM1684X・Movidius Myriad X (Intel・廃止)・¥¥3k-¥¥¥¥30k Edge Module、2026年家庭Edge AI普及。

Edge AI Compilerは、深層学習モデルをエッジデバイス向けに最適化する専用コンパイラです。モデル圧縮、量子化、グラフ最適化を自動実行し、推論速度を最大100倍高速化しながら、メモリ使用量を90%削減します。

端末/近端でのローカルAI実行。ONNX Runtime 1.20・TensorRT-LLM・Core ML 4・WebGPU・Apple Foundation Models on-device(18.2+)・Qualcomm AI Engine・MediaTek NeuroPilot・NPU TOPS比較・Phi-4 mini/Gemma 3/Qwen3 1.7B Edge LLMが2026年代表、プライバシー+低遅延用途。

クラウド経由せず端末側でAI推論を行うデバイス。Copilot+ PC・NVIDIA Jetson Orin・Raspberry Pi 5+AI Kitなどが2025-2026年の主流で、NPU搭載Snapdragon X Eliteも該当。

2024年Cornell University + Cohere共同発表AnyTokenizer paper・Industry-emerging Tokenizer-Agnostic Inference paradigm + Industry-leading cross-tokenizer adaptation + Industry-emerging tokenizer-agnostic inference Industry-emerging paradigm Pioneer + Industry-leading Cornell + Cohere academic + Industrial integrated foundation。

Neural Architecture Searchにおいて候補アーキテクチャが取りうる構造の範囲を定義する設計空間。セル単位・ブロック単位・ネットワーク全体の階層で構成され、探索空間の設計がNASの成否を大きく左右する。

DeepSeekが2025年に提案した、訓練段階から組み込む（ネイティブ）疎なアテンション機構。圧縮・選択・スライディングの3経路を動的に統合し、長文脈を高速化しつつ精度を保つハードウェア整合型の設計。

QLoRA論文（2023）で提案された情報理論的に最適な4bit量子化データタイプ。LLMの重みが正規分布に従うことに着目し、正規分布に特化したノンリニア量子化グリッドを使用することでFP4より精度が高い。BitsAndBytesライブラリでbnb_4bit_quant_type="nf4"として実装されている。

LLMの訓練データとベンチマークテストセット間でN-gram（連続N単語）が一致する割合を測定し、データ汚染を定量検出する統計的手法。8-gramオーバーラップ率10%超が汚染の目安とされる。

コントラスティブ学習のアプローチをLLM整合に適用した手法。好ましい応答と好ましくない応答の対比学習をノイズコントラスト推定の枠組みで定式化し、参照モデルなし・安定した選好整合を実現する。

2023年Reddit r/LocalLLaMA community + bloc97発表NTK-Aware RoPE Scaling paper・Industry-leading Neural Tangent Kernel theory-based RoPE scaling paradigm + Industry-emerging RoPE extension paradigm Pioneer + Industry-leading context length extension + Industry-leading community-driven open-source paradigm。

Neural Processing Unitの略称。AI・機械学習の推論処理に特化した専用プロセッサで、従来のCPU・GPUよりも高効率でニューラルネットワーク計算を実行する

AI推論に特化した専用アクセラレータ。行列演算（MAC）を低消費電力かつ高効率で実行する設計を持ち、CPUやGPUと並ぶ第3のプロセッサとして、ローカルLLMの動作やCopilot+ PCの要件を満たす鍵となる技術。