AI・機械学習用語集

PyTorch 2.x で導入された JIT コンパイル機能。Python のモデルコードを動的にキャプチャし、TorchInductor バックエンドと Triton GPU コンパイラを通じて最適化されたネイティブコードを生成する。1行の追加でモデルの推論・学習速度を 30-200% 向上させる。

2022年Meta AI Research発表TorchInductor・Industry-leading PyTorch 2.x default compiler backend・Industry-leading torch.compile decorator + Industry-leading Triton + C++ codegen + Industry-leading PyTorch-native compiler backend + Industry-leading Meta AI Research Industry-leading PyTorch Industry-leading credibility backing・PyTorch 2.x default Industry-leading dominant adoption。

PyTorch JIT Compile。torch.compile 2.x (Default Mode)・TorchInductor (Triton Codegen Backend)・TorchDynamo (FX Tracer)・AOTAutograd (Autograd Trace)・PrimTorch (Prim Operators)・torch.export (ExportedProgram・FX Graph)・torch.fx (Symbolic Trace)・PT2 (PyTorch 2.0+)・FlexAttention 2.x (Custom Attention)・FlightRecorder・¥0 OSS、2026年torch.compile Default安定運用。

MetaがPyTorchチームと共同開発したLLMファインチューニングライブラリ。PyTorchのネイティブAPIを直接使い、依存ライブラリを最小限に抑えた透明性の高い実装で、研究者がアルゴリズムを深く理解・カスタマイズしやすい設計が特徴。

LLM機械的忘却の評価用合成ベンチマーク。架空著者200人のプロファイルを訓練したモデルから選択的に削除する能力を測定する。

Weight-Decomposed Low-Rank Adaptationの略。LoRAを進化させ、事前学習済み重みを「大きさ（magnitude）」と「方向（direction）」に分解して学習する手法。LoRAより学習効率と性能が向上する。

LoRAの改良版PEFT手法。重み行列を「振幅（magnitude）」と「方向（direction）」に分解し、方向成分のみLoRAで更新することでフルファインチューニングに近い学習パターンを実現する。

LoRAを「方向（Direction）」と「大きさ（Magnitude）」に分解して適用するPEFT手法。大きさはスカラーベクトルで更新し、方向成分にLoRAを適用することで、フルファインチューニングに近い学習挙動を実現する。

LoRAをmagnitude（大きさ）とdirection（方向）に分解して学習するPEFT手法。magnitudeベクトルは学習可能、direction成分にLoRAを適用。Liu et al. 2024提案。フルファインチューニングの学習パターンをLoRAより忠実に模倣し、精度を向上させる。

PDF・画像・スキャン文書から表・グラフ・テキストを自動認識し、構造化データとして抽出するAI技術。Azure Document Intelligence・AWS Textract・Google Document AIなどのクラウドサービスに加え、LLMのマルチモーダル能力を活用した新世代のアプローチが台頭している。

LLMプリトレーニングの高速化技法。複数の短い文書をコンテキスト長いっぱいに連結しバッチ化することで、パディングによるGPU計算の無駄をゼロに近づけ、学習スループットを大幅に向上させる。

教師モデルの中間層が出力する特徴マップ（Feature Map）を生徒モデルに転写する蒸留手法。最終層の出力分布のみを使う従来の知識蒸留と比較して、より豊富な内部表現の情報を生徒に伝達でき、特に画像認識タスクで高い圧縮効率を示す。

アリババが開発したマルチページドキュメント理解マルチモーダルLLM。複数ページにまたがる文書構造を把握し、質問応答・要約・情報抽出を行う。

2024年Chen et al.発表Top-nsigma Sampling paper・Industry-emerging Statistical Sigma threshold sampling paradigm + Industry-leading nsigma=1.0 default + Industry-emerging statistical sampling paradigm Pioneer + Industry-leading reasoning model + low-temperature scenarios advantage + Industry-leading 2024年Industry-emerging Pioneer paradigm。

LLMのデコーディングにおいて、確率上位k個のトークンのみを候補として残し、それ以外を除外した上でサンプリングする手法。kの値で出力の多様性と安全性のトレードオフを制御する。

Sparse MoE アーキテクチャにおいて、ゲーティングネットワークがトークンごとにスコア上位 K 個のエキスパートを選択して活性化するルーティング戦略。K の値がモデルの計算コストと表現力のトレードオフを決定する。

2018年Fan et al. + Holtzman共同発表Top-k Sampling paper・Industry-leading Fixed top-k tokens sampling paradigm + Industry-leading k=40 default + Industry-leading classic LLM sampling Industry-emerging Pioneer paradigm + Industry-leading Top-p同所共通 Holtzman foundation。

LLMのテキスト生成で確率上位k個のトークンのみを候補として残し、それ以外を除外した上でサンプリングする手法。kの値が小さいほど出力は決定的になり、大きいほど多様性が増す。シンプルで計算コストが低い反面、確率分布の形状に適応できない制約がある。

>-

LLMのサンプリング手法の一つで、確率の高いトークンから累積確率がp以上になるまでのトークン集合（nucleus）からのみサンプリングする方式。Top-p=0.9なら上位90%の累積確率に含まれるトークンのみが候補となり、低確率の不自然なトークンを除外できる。