AI・機械学習用語集

2010年にXavier Glorotが提案した重み初期化手法。各層の入出力ノード数に基づいて分散をVar(W) = 2/(n_in + n_out)と設定し、順伝播・逆伝播の両方で信号の分散を保存する。BERT、T5などのTransformerモデルで広く採用されている。

サブワード分割（Subword Segmentation）は、テキストを単語よりも細かいサブワード単位に分割するNLP技術の総称で、BPE・WordPiece・Unigram LM・SentencePieceなどのアルゴリズムがある。未知語問題の解消と語彙サイズの抑制を両立し、GPT-4o・Llama 3・Gemma 2など全ての現代LLMが採用している基盤技術である。

Meta AIが2024年発表の画像・動画対応ユニバーサルセグメンテーションモデル。Memory Encoderによるストリーミング処理で動画リアルタイムセグメンテーションを実現。

サンドイッチ防御とは、LLMへの入力においてユーザー提供テキストをシステム指示で前後から挟み込むことで、プロンプトインジェクション攻撃の成功率を低下させるプロンプト設計パターンである。ユーザー入力の後にシステムの本来の指示を再確認させることで、攻撃による指示上書きを緩和する。単独では完全な防御にならないが、他の防御手法と組み合わせることで多層防御の重要な一層となる。

Zyphra社が開発したハイブリッドSSM-Transformerアーキテクチャ。Mambaブロックと共有Transformerアテンションブロックを交互に配置し、7Bパラメータで同規模の純粋Transformerモデルを性能・推論速度の両面で上回る2025年設計。

2024年SambaNova公開SN40L Reconfigurable Dataflow Unit。Three-tier Memory(HBM3+DDR5+SRAM)+5nm TSMC+638 TFLOPS BF16+1.5T parameter Trillion-scale Model対応搭載。

SambaNova Systems製AIチップ。RDU（Reconfigurable Dataflow Unit）アーキテクチャで再構成可能なデータフロー演算を実現し、Llama-3 405Bクラスの超大規模推論をオンプレミスで提供。

2024年Q1 SambaNova Systems (米Palo Alto・2017年Rodrigo Liang (CEO・元Sun Microsystems / Oracle CPU Architect・Stanford CS PhD) 創業・累計funding $1.1B+・Mubadala / Intel Capital / Walden / GV / SoftBank Vision Fund投資) 発表のCardinal SN40L・5nm TSMC process + Reconfigurable Dataflow Architecture (RDA) + 1,040 TFLOPS BF16 + HBM3 1.5TB total (across 256 chip Rack) + DRAM 12TB Rack-level・Trillion-Parameter Model (GPT-4 1.8T / Llama 4 1T) Single-Rack Inference対応・SambaNova Suite (Full-stack platform with pre-trained models) ・NVIDIA H100 / Cerebras WSE-3 / Tenstorrent Blackhole 競合のEnterprise AI Cloud Chip。

AI学習/音楽制作用音源/データ集。Hugging Face Datasets・Kaggle Datasets・Native Instruments Kontakt・Spitfire Audio LABS・Splice Soundsが代表で、音楽用は¥50,000-¥300,000規模、AI用は無料〜商用利用可のライセンス設定。

Sheared LLaMAはプリンストン大学が2023年に発表したLLM向け構造化プルーニング手法。LLaMA-2 7B/13Bを元に、ターゲット構造（例：1.3B/2.7Bパラメータ）を事前設定してレイヤー・ヘッド・FFN次元を一括削除し、その後50Bトークンの軽量ファインチューニングで性能を回復させる。削減幅が大きく（50%以上）、同サイズのゼロから学習したモデルに近い性能を低コストで達成する。

Alibaba DAMO Academyが2024年に開発した東南アジア言語特化LLM。タイ語・ベトナム語・インドネシア語・マレー語・クメール語など11言語に対応し、東南アジア固有の文化的コンテキストを学習した多言語モデル。

Group Relative Policy Optimization の略。DeepSeek R1 の強化学習訓練に使用された PPO 改良アルゴリズム。グループ内の相対報酬を利用してバリュー関数を不要にし、メモリ効率と学習安定性を大幅に改善した。

DeepSeekが提案したPPOの軽量代替アルゴリズム。価値関数を排除しグループ内相対報酬でアドバンテージを推定することで、メモリ使用量を大幅に削減する。

グループ内サンプルの相対報酬を用いてLLMを強化学習でファインチューニングする手法。DeepSeek-R1の訓練に採用され、報酬モデルなしで推論能力を大幅に向上させた。

Ohio State大学が2024年に発表したGPT-4V駆動のWeb操作エージェント。DOMとスクリーンショットの両情報を組み合わせたGrounding手法で、Webフォーム・ショッピング・情報収集などのブラウザタスクを自律実行する。

GELU は入力値をガウス分布の累積分布関数（CDF）で確率的にゲーティングする活性化関数であり、BERT・GPT-2・GPT-3・GPT-4 で採用され、Transformer ベースモデルにおける標準的な活性化関数として広く普及している。

Constitutional AI で使用される自然言語の行動規範集で、有用性・無害性・正直さ（HHH）を基盤にモデルの自己批評と修正を導く原則群

CAI憲法原則とは、Constitutional AIにおいてAIモデルの出力を評価・改善する際の判断基準となるルールセットであり、「有害な行為を助長しない」「差別的表現を避ける」など、人間の研究者が倫理的・法的観点から設計した具体的な行動指針の集合体である。

Constitutional AI の中核メカニズムで、モデルが自ら生成した応答を憲法の原則に照らして批評し、改善版を再生成する反復的な自己改善プロセス

CAI vs RLHF比較とは、AIアライメントの2大手法である Constitutional AI（CAI）と Reinforcement Learning from Human Feedback（RLHF）の設計思想・スケーラビリティ・コスト・品質トレードオフを体系的に分析する比較枠組みであり、実務におけるハイブリッドアプローチの最適設計に不可欠な知見を提供する。