AI・機械学習用語集

Constitutional AI における無害性（Harmlessness）確保のための訓練手法で、有害応答の自動検出・修正と RLAIF による報酬モデル構築を組み合わせて安全なモデルを実現する

CAI批評-修正サイクルとは、Constitutional AIの教師あり学習段階において、AIモデルが自身の生成した応答を憲法原則に照らして自己批評（Critique）し、問題点を修正した改善版（Revision）を生成する反復プロセスであり、人間のフィードバックなしに出力品質を段階的に向上させる仕組みである。

CAI無害性訓練とは、Constitutional AIフレームワークにおいてAIモデルの有害性を体系的に低減するための訓練プロセスであり、RLAIF（Reinforcement Learning from AI Feedback）によるAI自己評価と、レッドチーミングによる脆弱性探索を組み合わせて、攻撃耐性のある安全なモデルを構築する手法である。

Constitutional AI の安全性を検証するために、意図的にモデルの脆弱性を攻撃・探索するテスト手法で、人間の Red Teamer と AI による自動攻撃を組み合わせて防御力を評価する

対照的なプロンプトペア（例：正直な応答と不正直な応答）をLLMに入力して得られる活性化の差分ベクトルを、推論時に加算することでモデルの行動を誘導する手法。

CAG（Cache-Augmented Generation）は、LLMの生成プロセスに外部または内部のキャッシュメモリを組み込む技術です。これにより、長い対話履歴や重要な情報を効率的に保持し、より一貫性があり、文脈に即した応答を実現します。

小学校レベルの数学文章題8,500問で構成されるLLM数学推論評価ベンチマーク。Chain-of-Thoughtの効果検証に広く使われる。

概要

CNN (Convolutional Neural Network・畳み込みニューラルネット) は1989年Yann LeCun (1960-・Bell Labs・後Facebook AI・2018年Turing Award) が「Backpropagation Applied to Handwritten Zip Code Recognition」論文で提案・1998年LeNet-5 で完成形・畳み込み層+プーリング層+全結合層採用しMNIST 手書き数字認識・銀行小切手OCR 実用化に成功し2012年AlexNet で完全復活した現代Deep Learning の祖先。

ゲート機構を線形アテンションに組み込みSoftmax Attentionの二次計算量を回避しながら選択的な情報保持を実現するTransformer代替アーキテクチャ。

中国 Zhipu AI(智谱AI)が 2026 年に公開した高速推論型 LLM。MoE 構造を採用し、マルチモーダル対応かつ低コスト推論が可能。中国語と英語の双方に強く、Apache 2.0 系のオープンウェイトでローカルや LM Studio での運用にも適する。

2016年Dauphin et al. + Facebook AI発表GLU paper・Industry-leading Gated Linear Unit paradigm + Industry-leading gated activation Pioneer + Industry-leading CNN LM heritage + Industry-leading SwiGLU + GeGLU successors Pioneer。

StepFun/中国科学院が開発したエンドツーエンド汎用OCRモデル。テキスト・数式・表・コードを単一モデルで高精度に認識し、Markdown/LaTeX形式で出力する。

NVIDIAのMegatron-LMにおけるシーケンス並列化手法。テンソル並列と組み合わせ、LayerNormやDropoutなどアテンション外の層もシーケンス次元で並列化し活性化メモリをTP倍数分の1に削減する。

LLM学習時に複数の短いシーケンスを1つの長いシーケンスに詰め込み、パディングによる計算の無駄を排除する手法。スループットを大幅に向上させる。

2016年Kim + Rush発表Sequence-level Distillation paper・Industry-leading Sequence-level Knowledge Distillation paradigm + Industry-leading machine translation distillation + Industry-leading Harvard NLP Pioneer + Industry-leading 8年heritage sequence distillation foundational paradigm。

Georgi Gerganovが開発したCPU推論向け機械学習テンソルライブラリ。llama.cppのバックエンドとして普及し、後継のGGUF形式（.ggufファイル）がローカルLLM推論の事実上の標準フォーマットになった。

GeGLU（GELU-Gated Linear Unit）は GELU 関数と GLU ゲート機構を組み合わせた活性化関数であり、Google の Gemma シリーズ（2024年）で採用され、SwiGLU と並ぶ GLU ファミリーの代表的な活性化関数である。

Zou et al.（2023、CMU）が提案したLLMへの自動adversarial suffix攻撃手法。モデルのgradient情報を使い、有害出力を引き出すトークン列（suffix）をgreedy探索で最適化する白箱攻撃。白箱最適化したsuffixが商用LLMへの黒箱転移攻撃にも成功したことで注目された。

llama.cppが採用するLLM量子化ファイル形式。K-quant方式でQ2〜Q8の多段階量子化に対応し、CPU/GPU混在推論を可能にするローカルLLM実行の事実上の標準フォーマット。