AI・機械学習用語集

LLMの一部Transformerレイヤーを除去することでモデルを圧縮する手法。ShortGPTはレイヤー重要度スコアを用い、冗長レイヤーを削除して推論高速化・メモリ削減を達成する。

DuolingoがGPT-4oを組み込んだプレミアム語学学習サービスで、Roleplay（ロールプレイ会話練習）とExplain My Answer（誤答解説）の2つのAI機能を提供する。

デリバレイティブアライメント（Deliberative Alignment）とは、AIモデルが推論プロセス中に自身の行動規範や安全性ポリシーを明示的に参照・検討しながら、安全で有益な出力を生成するアライメント手法である。Anthropicが2024年末に発表した。

NeurIPS 2024採択のDelta Rule線形注意モデル。KV状態を完全上書き可能にしたことで、MQAR精度98.5%（Mambaの85.3%比）を達成。連想記憶タスクで線形SSMを大きく上回る。

デルタルール（差分更新）に基づく線形アテンション機構。ヘッブ学習との理論的関連を持ち、GLAやBasedと比較して競合する記憶能力をシンプルな数式で実現する。

NVIDIA が開発した高性能推論最適化エンジンで、学習済みモデルを NVIDIA GPU 上で最大性能で実行するためのグラフ最適化・量子化・カーネル自動選択を行うソフトウェア。

TensorRT-LLMは、NVIDIAが開発するLLM推論最適化ライブラリ。TensorRTコンパイラを活用してTransformerモデルをNVIDIA GPU向けに最適化し、FP8/INT4量子化・カーネルフュージョン・インフライトバッチングを組み合わせてH100/A100上で業界最高水準の推論スループットを達成する。Triton Inference Serverとの統合によりエンタープライズグレードのサービング基盤を提供する。

2024年成熟Tensor Parallelism・Industry-leading Megatron-LM partition weights + Industry-leading column/row-wise sharding + Industry-leading multi-GPU LLM inference + Industry-leading NVIDIA Megatron-LM Tensor Parallelism distributed inference 2024。

2024年Tenstorrent (カナダToronto・2016年Ljubisa Bajic + Ivan Hamer + Milos Trajkovic創業・Jim Keller (元Apple A4-A6 + AMD Zen + Tesla Autopilot CTO) 2021年CEO就任・累計funding $1B+) 発表のGrayskull・RISC-V Computing chip (256 RISC-V cores per chip) + AI workload specialized design + Wormhole next-gen + Blackhole flagship + Tenstorrent Multi-product portfolio・$599-$1,499 (Multiple variants)・Nvidia H100 / AMD MI300X RISC-V alternative position + Jim Keller CEO industry veteran leadership + AI Computing + Server-class RISC-V hybrid。

2024年Tenstorrent公開のRISC-V AI Accelerator。Blackhole p150 PCIe Card+SiFive X280 RISC-V core+Tensix Architecture+TT-Metalium SDK+Wormhole後継。

NVIDIAが開発するGPU最適化LLM推論ライブラリ。Tensor Core活用・量子化（FP8/INT8/INT4）・In-flight Batching・Paged KV Cacheを組み合わせてNVIDIA GPU上での推論スループットを最大化する。

NVIDIAが開発したLLM推論特化のオープンソースライブラリ。FP8/INT4量子化・In-Flight Batching・FlashAttention統合・Tensor Parallelism等を組み合わせ、A100/H100 GPU上でHuggingFace Transformersより4〜8倍の推論スループットを実現する本番環境向け推論エンジン。

多次元配列のAI基本データ構造。0階スカラ・1階ベクトル・2階行列・3-4階が画像/バッチ。PyTorch Tensor・JAX Array・TensorFlowが主要ライブラリで、NVIDIA Tensor CoreやApple Neural Engineが高速化。

NVIDIAが開発するLLM特化の高性能推論ライブラリ。TensorRTの最適化エンジンにLLM固有のIn-Flight Batching・FP8/INT4量子化・テンソル並列化を統合し、NVIDIA GPU上で最高水準のスループットを実現する。

NVIDIAが提供する、大規模言語モデル（LLM）の推論性能を極限まで引き出すためのオープンソース・ライブラリ。量子化や高度なバッチング技術により、データセンター級の高速推論を実現する。

NVIDIA 2023年10月発表 LLM 推論最適化スタック。Tensor Core 専用最適化・FP8/INT4 量子化・MultiGPU/MultiNode 対応

2024年NVIDIA発表TensorRT-LLM NVIDIA H100/H200・Industry-leading NVIDIA GPU optimized LLM inference + Industry-leading H100/H200 FP8 + Industry-leading In-Flight Batching + Industry-leading NVIDIA H100 inference framework flagship。

概要

Tensor Core低層プログラミング。WMMA Warp-level Matrix Multiply Accumulate (Volta・廃止傾向)・MMA Matrix Multiply Accumulate (Ampere+)・MMA Async (Hopper・cp.async.mbarrier)・WGMMA Warpgroup MMA (Hopper)・TMA Tensor Memory Accelerator (Hopper)・Distributed Shared Memory DSMEM・Cluster (Hopper)・PTX cp.async.bulk・MMA Sparse 2:4・Blackwell 2nd Gen Transformer Engine FP4・¥0 知識、2026年Blackwell PTX優先。

GPU AI演算ユニット。NVIDIA Tensor Core 5th Gen(Blackwell・FP4/FP8/BF16/TF32)・AMD Matrix Core 3rd Gen(CDNA 3 MI300X・FP16/BF16/FP8)・Intel XMX(Xe Matrix Extension・Arc Battlemage・BF16/INT8)・Apple Matrix Multiplier(AMX)・Qualcomm HMX(Hexagon)・FP32 vs FP16 vs BF16 vs FP8 vs FP4・Sparsity 2:4・LoRA低精度学習必須、2026年Transformer推論基盤。