AI・機械学習用語集

複数のミニバッチの勾配を蓄積してからパラメータ更新を行う手法。GPU メモリに収まらない大きな実効バッチサイズを、メモリ制約内で実現する分散訓練の基盤技術。

LLM訓練中に勾配の大きさが閾値を超えた場合にスケーリングまたは切り捨てを行う安定化手法。勾配爆発を防止し、訓練の安定性を確保する事実上必須のテクニック。

訓練時に勾配のノルムが指定した閾値を超えた場合にスケーリングして制限することで、勾配爆発を防ぎ訓練を安定化させる手法。LLMの訓練では事実上すべてのモデルが採用しており、閾値1.0が標準的な設定値である。

訓練時のメモリ使用量を削減するため、順伝播の中間活性値を一部のみ保存し、逆伝播時に必要な部分を再計算する手法。計算時間とメモリのトレードオフを実現する。

LLM訓練における勾配ノイズの大きさとシグナルの比率を定量化する指標。最適なバッチサイズの推定や訓練効率の分析に使用され、訓練の「臨界バッチサイズ」を決定する理論的基盤。

Abubakar Abid 2019年OSS化のAI/ML Webデモ作成ライブラリ。Hugging Face買収2021年12月+生成AI Web UI業界標準。

LLM学習において小さいミニバッチを複数回フォワード・バックワードし、勾配を蓄積してから一括更新する手法。GPUメモリ制約下で実質的に大きいバッチサイズを実現する。

2024年10月IBM発表Granite 3・Industry-leading 8B/3B-A1B/2B/1B model sizes + Industry-leading 128K context + Industry-leading Apache 2.0 enterprise-grade + Industry-leading IBM enterprise open-weight LLM family flagship 2024。

IBMが開発したエンタープライズ向けコード生成LLMファミリー。3B/8B/20B/34Bの4サイズを提供し、Apache 2.0ライセンスで商用利用可能。コード生成・説明・修正・変換の4タスクに対応。

2024年Q4 IBM (米Armonk・1911年設立・113年継続 Enterprise IT industry-leading brand・累計売上$60B+/year・Enterprise AI initiative 2023年watsonx platform launch・Granite LLM family enterprise focus) 発表Granite 3.0 MoE・Enterprise-focused Open Weights MoE LLM・3 sizes lineup (Granite 3.0 MoE 3B-A800M + 1B-A400M + 800M-A100M・Total params + Active params Industry-shocking small MoE scale)・Apache 2.0 license + Trained on 12T tokens + Enterprise compliance (Indemnification + Apache 2.0 + Industry-leading enterprise license alignment) + IBM watsonx integration + 128K context・Enterprise + Edge deployment focus (Mid-Large MoE Mixtral/DeepSeek-V3 vs Small MoE Granite 3 differentiated positioning)。

IBM Granite 4 世代の超小型 LLM。エンタープライズ向けに完全クリーンライセンスの学習データで構築され、エッジ推論やプライベートデプロイ用途のコンプライアンス特化型モデルとして 2026 年公開。

Granola Inc 2024年公開AI Meeting Note専業Tool。Mac/Windows対応 + Background Audio Recording + AI Summary + Action Items自動抽出・$0(無料7日Trial) + $18/月Personal、Pro Mac + Knowledge Worker AI Meeting Note代表機。

2023年Besta et al. + ETH Zurich発表Graph-of-Thoughts paper・Industry-leading Graph-of-Thoughts reasoning paradigm + Industry-leading graph-based LLM reasoning + Industry-emerging GoT ETH Pioneer。

Graphcore製AI専用プロセッサ。IPU（Intelligence Processing Unit）アーキテクチャはグラフ構造のAI計算を直接処理し、GNN・スパースモデル・低精度演算で高効率推論を実現する。

グラフ構造データ（ノードとエッジで構成）を直接入力として処理するニューラルネットワークの総称。各ノードが近傍ノードの情報を集約（メッセージパッシング）して自身の表現を更新する仕組みで、ソーシャルネットワーク分析・分子設計・推薦システムなどに応用される。

Graph RAG（Graph Retrieval-Augmented Generation）は、知識グラフとRAGを組み合わせた検索拡張生成手法である。Microsoft Researchが2024年に発表した論文「From Local to Global: A Graph RAG Approach to Query-Focused Summarization」で提案され、テキストコーパスからエンティティ抽出・ナレッジグラフ構築・Leidenアルゴリズムによるコミュニティ検出・階層的サマリ生成を行い、クエリ時にグラフ構造を活用して高品質な回答を生成する。

テキストコーパスからナレッジグラフを自動構築し、グラフのコミュニティ構造を活用してRAG（検索拡張生成）の検索精度と回答品質を向上させる手法。Microsoft Researchが2024年に提唱し、従来のベクトル検索RAGでは困難だった「全体像を問う質問」への回答を可能にする。

Microsoft Researchが2024年に発表したRAG手法で、文書コーパスからナレッジグラフ（エンティティと関係のネットワーク）を自動構築し、グラフ構造を活用して複雑な推論・要約クエリに対応する。従来のベクトル検索RAGでは困難だったマルチホップ推論を実現する。

RAG（検索拡張生成）にグラフ構造を導入し、テキストからエンティティとリレーションを抽出してコミュニティ検出・階層的要約を行うことで、従来のベクトルRAGでは困難だったグローバルな質問への包括的回答を可能にするMicrosoft発の手法。

Knowledge Graph駆動RAG。Microsoft GraphRAG(2024年公開)・Neo4j GraphRAG・LightRAG(HKU)・Nano-GraphRAG・Community Detection(Leiden algorithm)・Hierarchical Summarization・Entity-Relation extraction・Cypher query・Neo4j 5.x・NebulaGraph・TigerGraph・ArangoDB・PageRank・Louvain・2026年大規模文書+複雑関係質問で高精度。