AI・機械学習

Group Relative Policy Optimization の略。DeepSeek R1 の強化学習訓練に使用された PPO 改良アルゴリズム。グループ内の相対報酬を利用してバリュー関数を不要にし、メモリ効率と学習安定性を大幅に改善した。

グループ内サンプルの相対報酬を用いてLLMを強化学習でファインチューニングする手法。DeepSeek-R1の訓練に採用され、報酬モデルなしで推論能力を大幅に向上させた。

Ohio State大学が2024年に発表したGPT-4V駆動のWeb操作エージェント。DOMとスクリーンショットの両情報を組み合わせたGrounding手法で、Webフォーム・ショッピング・情報収集などのブラウザタスクを自律実行する。

CAG（Cache-Augmented Generation）は、LLMの生成プロセスに外部または内部のキャッシュメモリを組み込む技術です。これにより、長い対話履歴や重要な情報を効率的に保持し、より一貫性があり、文脈に即した応答を実現します。

小学校レベルの数学文章題8,500問で構成されるLLM数学推論評価ベンチマーク。Chain-of-Thoughtの効果検証に広く使われる。

概要

CNN (Convolutional Neural Network・畳み込みニューラルネット) は1989年Yann LeCun (1960-・Bell Labs・後Facebook AI・2018年Turing Award) が「Backpropagation Applied to Handwritten Zip Code Recognition」論文で提案・1998年LeNet-5 で完成形・畳み込み層+プーリング層+全結合層採用しMNIST 手書き数字認識・銀行小切手OCR 実用化に成功し2012年AlexNet で完全復活した現代Deep Learning の祖先。

ゲート機構を線形アテンションに組み込みSoftmax Attentionの二次計算量を回避しながら選択的な情報保持を実現するTransformer代替アーキテクチャ。

中国 Zhipu AI(智谱AI)が 2026 年に公開した高速推論型 LLM。MoE 構造を採用し、マルチモーダル対応かつ低コスト推論が可能。中国語と英語の双方に強く、Apache 2.0 系のオープンウェイトでローカルや LM Studio での運用にも適する。

2016年Dauphin et al. + Facebook AI発表GLU paper・Industry-leading Gated Linear Unit paradigm + Industry-leading gated activation Pioneer + Industry-leading CNN LM heritage + Industry-leading SwiGLU + GeGLU successors Pioneer。

StepFun/中国科学院が開発したエンドツーエンド汎用OCRモデル。テキスト・数式・表・コードを単一モデルで高精度に認識し、Markdown/LaTeX形式で出力する。

NVIDIAのMegatron-LMにおけるシーケンス並列化手法。テンソル並列と組み合わせ、LayerNormやDropoutなどアテンション外の層もシーケンス次元で並列化し活性化メモリをTP倍数分の1に削減する。

2016年Kim + Rush発表Sequence-level Distillation paper・Industry-leading Sequence-level Knowledge Distillation paradigm + Industry-leading machine translation distillation + Industry-leading Harvard NLP Pioneer + Industry-leading 8年heritage sequence distillation foundational paradigm。

Georgi Gerganovが開発したCPU推論向け機械学習テンソルライブラリ。llama.cppのバックエンドとして普及し、後継のGGUF形式（.ggufファイル）がローカルLLM推論の事実上の標準フォーマットになった。

Zou et al.（2023、CMU）が提案したLLMへの自動adversarial suffix攻撃手法。モデルのgradient情報を使い、有害出力を引き出すトークン列（suffix）をgreedy探索で最適化する白箱攻撃。白箱最適化したsuffixが商用LLMへの黒箱転移攻撃にも成功したことで注目された。

llama.cppが2023年8月導入したLLM量子化モデルの単一ファイル格納フォーマット。旧GGMLの後継で、メタデータを豊富に内包しヘッダー互換性を保ちつつ複数量子化レベルを1ファイルに収められる。

llama.cppが採用するLLM量子化ファイル形式。K-quant方式でQ2〜Q8の多段階量子化に対応し、CPU/GPU混在推論を可能にするローカルLLM実行の事実上の標準フォーマット。

2024年成熟GGUF・Industry-leading llama.cpp file format + Industry-leading K-quants 2-8 bit + Industry-leading CPU inference optimized + Industry-leading ggerganov llama.cpp GGUF file format LLM quantization 2024。

llama.cppのGGUFフォーマットにおける文脈考慮型量子化手法。キャリブレーションデータを使い重みの「重要度」を計測し、重要な重みほど高精度で量子化することで、同じビット数でも通常量子化より高い品質を実現する。IQ2_XXS・IQ4_XS等のIQシリーズで採用される。

2023年Georgi Gerganov公開GGUF(GGML Universal Format)量子化フォーマット。Pro 業界Pro Mainstream llama.cpp標準量子化Format先駆 + Pro 国際OSS llama.cpp + Pro 2023-08 GGUF v3公開 + Pro Q2_K/Q3_K/Q4_K_M/Q5_K_M/Q6_K/Q8_0等多Format + Pro Single File形式 + Pro CPU/GPU両対応 + Pro 累計2023-2026年3年Heritage継承代表機。