AI・機械学習

Constitutional AI で使用される自然言語の行動規範集で、有用性・無害性・正直さ（HHH）を基盤にモデルの自己批評と修正を導く原則群

CAI憲法原則とは、Constitutional AIにおいてAIモデルの出力を評価・改善する際の判断基準となるルールセットであり、「有害な行為を助長しない」「差別的表現を避ける」など、人間の研究者が倫理的・法的観点から設計した具体的な行動指針の集合体である。

Constitutional AI の中核メカニズムで、モデルが自ら生成した応答を憲法の原則に照らして批評し、改善版を再生成する反復的な自己改善プロセス

CAI vs RLHF比較とは、AIアライメントの2大手法である Constitutional AI（CAI）と Reinforcement Learning from Human Feedback（RLHF）の設計思想・スケーラビリティ・コスト・品質トレードオフを体系的に分析する比較枠組みであり、実務におけるハイブリッドアプローチの最適設計に不可欠な知見を提供する。

Constitutional AI における無害性（Harmlessness）確保のための訓練手法で、有害応答の自動検出・修正と RLAIF による報酬モデル構築を組み合わせて安全なモデルを実現する

CAI批評-修正サイクルとは、Constitutional AIの教師あり学習段階において、AIモデルが自身の生成した応答を憲法原則に照らして自己批評（Critique）し、問題点を修正した改善版（Revision）を生成する反復プロセスであり、人間のフィードバックなしに出力品質を段階的に向上させる仕組みである。

CAI無害性訓練とは、Constitutional AIフレームワークにおいてAIモデルの有害性を体系的に低減するための訓練プロセスであり、RLAIF（Reinforcement Learning from AI Feedback）によるAI自己評価と、レッドチーミングによる脆弱性探索を組み合わせて、攻撃耐性のある安全なモデルを構築する手法である。

Constitutional AI の安全性を検証するために、意図的にモデルの脆弱性を攻撃・探索するテスト手法で、人間の Red Teamer と AI による自動攻撃を組み合わせて防御力を評価する

対照的なプロンプトペア（例：正直な応答と不正直な応答）をLLMに入力して得られる活性化の差分ベクトルを、推論時に加算することでモデルの行動を誘導する手法。

CAG（Cache-Augmented Generation）は、LLMの生成プロセスに外部または内部のキャッシュメモリを組み込む技術です。これにより、長い対話履歴や重要な情報を効率的に保持し、より一貫性があり、文脈に即した応答を実現します。

小学校レベルの数学文章題8,500問で構成されるLLM数学推論評価ベンチマーク。Chain-of-Thoughtの効果検証に広く使われる。

概要

CNN (Convolutional Neural Network・畳み込みニューラルネット) は1989年Yann LeCun (1960-・Bell Labs・後Facebook AI・2018年Turing Award) が「Backpropagation Applied to Handwritten Zip Code Recognition」論文で提案・1998年LeNet-5 で完成形・畳み込み層+プーリング層+全結合層採用しMNIST 手書き数字認識・銀行小切手OCR 実用化に成功し2012年AlexNet で完全復活した現代Deep Learning の祖先。

ゲート機構を線形アテンションに組み込みSoftmax Attentionの二次計算量を回避しながら選択的な情報保持を実現するTransformer代替アーキテクチャ。

中国 Zhipu AI(智谱AI)が 2026 年に公開した高速推論型 LLM。MoE 構造を採用し、マルチモーダル対応かつ低コスト推論が可能。中国語と英語の双方に強く、Apache 2.0 系のオープンウェイトでローカルや LM Studio での運用にも適する。

2016年Dauphin et al. + Facebook AI発表GLU paper・Industry-leading Gated Linear Unit paradigm + Industry-leading gated activation Pioneer + Industry-leading CNN LM heritage + Industry-leading SwiGLU + GeGLU successors Pioneer。

StepFun/中国科学院が開発したエンドツーエンド汎用OCRモデル。テキスト・数式・表・コードを単一モデルで高精度に認識し、Markdown/LaTeX形式で出力する。

NVIDIAのMegatron-LMにおけるシーケンス並列化手法。テンソル並列と組み合わせ、LayerNormやDropoutなどアテンション外の層もシーケンス次元で並列化し活性化メモリをTP倍数分の1に削減する。

2016年Kim + Rush発表Sequence-level Distillation paper・Industry-leading Sequence-level Knowledge Distillation paradigm + Industry-leading machine translation distillation + Industry-leading Harvard NLP Pioneer + Industry-leading 8年heritage sequence distillation foundational paradigm。

Georgi Gerganovが開発したCPU推論向け機械学習テンソルライブラリ。llama.cppのバックエンドとして普及し、後継のGGUF形式（.ggufファイル）がローカルLLM推論の事実上の標準フォーマットになった。