AI・機械学習用語集

AI推論専用プロセッサ。Intel Core Ultra 9 285K Neural Engine（13 TOPS）・Snapdragon X Elite Hexagon NPU（45 TOPS）・Apple M4 Neural Engine（38 TOPS）が代表で、Copilot+ PCの要件40 TOPS以上をクリア。

AI・機械学習タスクに特化したプロセッサ。ニューラルネットワークの推論処理を低消費電力で高速に実行する専用チップ。

Microsoftが定義する「Copilot+ PC」の必須要件。AI処理を担うNPUにおいて、毎秒40兆回の演算（40 TOPS/INT8）以上の性能を持つことが求められるハードウェア基準。

AI PC 専用演算ユニット。AMD XDNA 2(Strix Halo・Ryzen AI 9 HX 370・50 TOPS)・XDNA 1(Phoenix/Hawk Point・16 TOPS)・Intel AI Boost(Lunar Lake・Core Ultra 258V・48 TOPS)・Meteor Lake NPU 3(11 TOPS)・Panther Lake NPU 4(52+ TOPS)・Qualcomm Hexagon NPU(Snapdragon X Elite・45 TOPS)・Apple Neural Engine(M4 Max 38 TOPS)・ONNX Runtime + DirectML対応、2026年Copilot+ PC 40+ TOPS必須。

Neural Processing Unit の演算性能指標で、INT8 演算を 1 秒間に何兆回実行できるかを表す単位。Copilot+ PC は 40TOPS 以上、2025年主流 NPU は 40-50TOPS 水準。

NPU 2.0は、AI分野における最新技術の一つです。2025年に登場した技術革新により、従来の技術と比較して大幅な性能向上を実現しています。

100兆回/秒の演算性能を持つ次世代AI処理ユニット

Npu Processorは、最新のCPU/GPU技術における重要な要素です。

2024年9月NVIDIA Research発表のNV-Embed v2・MTEB (Massive Text Embedding Benchmark・Hugging Face Leaderboard) 1位獲得のSOTA Embedding Model。Mistral 7B base + LoRA fine-tuning + Two-stage Instruction Tuning + Synthetic Data Augmentation・MTEB score 72.31 (2024年9月時点最高) ・Apache 2.0 License・Hugging Face公開 + NVIDIA NIM (NVIDIA Inference Microservice) でManaged API・Llama 4 7B / Cohere Embed v3 / Voyage 3-large 等の競合に対する2024年Q3-Q4 Embedding Model SOTA。

NVIDIA が開発するオープンソースの LLM ガードレールフレームワーク。Colang という独自の対話フロー記述言語を用いて、LLM の入出力に対するトピック制御・事実性チェック・有害コンテンツフィルタリング・Jailbreak 防止などのセーフティレイヤーを宣言的に定義できる。

NVIDIAが発表した、Hopper世代の後継となる次世代GPUアーキテクチャ。膨大なトランジスタ数とFP4演算への対応により、超大規模言語モデル（LLM）の学習・推論を劇的に加速させるAIデータセンターの基幹技術。

NVIDIA 2024年9月発表 OSS マルチモーダル LLM。72B・MIT ライセンス・OCR Bench 853・TensorRT-LLM 最適化

NVIDIAが2024年9月に公開したマルチモーダル言語モデル。72Bパラメータ・InternViT-6B+Llama-3.1-70B構成でGPT-4o Visionに匹敵する性能を示す。

2026年Q4 NVIDIA Rubin GPU世代 launch時導入予定NVLink 6世代Interconnect・前世代NVLink 5 (Blackwell GB200 2024年・1.8TB/s) の2倍 3.6TB/s帯域 + Rubin Ultra (2027年 NVL576 144 GPUs racks) スケール対応 + NVLink Switch 6 chip + Coherent memory access (Multi-GPU unified memory) + Per-link bandwidth 200GB/s x18 ports = 3.6TB/s aggregate・AI Hyperscaler GB300 NVL72 / Rubin VR200 NVL144 / VR300 NVL576 deployment standard。

LLMが知識不足や学習データの偏りにより生じる「知識の不確実性」。モデルのパラメータや訓練データを増やすことで理論上は低減できる不確実性。

LLMエージェントが過去の対話・行動・イベントを時系列で構造化して保存し、類似状況での意思決定に活用する記憶システム。認知科学のエピソード記憶概念をAIに応用したもので、Generative AgentsやVoyager等で実装される。

LLMエージェントが過去の会話・タスク・経験を個別エピソードとして保持・検索し将来の推論に活用するメモリ機能。

Fully Sharded Data Parallel の略。PyTorch が提供する分散学習フレームワークで、モデルパラメータ・勾配・オプティマイザ状態を全 GPU にシャーディングし、メモリ効率を最大化しながらデータ並列学習を行う。

PyTorch Foundation + Meta AI Research発表FSDP・Fully Sharded Data Parallel・PyTorch-native Industry-leading Distributed Training method・FSDP v1 2022年 + FSDP v2 2024年 evolution + Industry-leading PyTorch ecosystem alignment + Industry-leading Open-source Distributed Training PyTorch-native paradigm・DeepSpeed ZeRO inspired + PyTorch native implementation + Industry-leading PyTorch users adoption + Industry-leading Open-source PyTorch ecosystem alignment + Meta Llama training foundation。

NVIDIA H100/H200・AMD MI300X等の最新GPU内蔵のFP8（E4M3/E5M2）演算ユニットを活用したLLM推論・訓練高速化技術。INT8推論より精度が高く、FP16より2倍高速な行列乗算が可能。vLLMおよびTensorRT-LLMが2024年にFP8を本格サポートした。