2990件の用語
Meta AI が 2024年に発表した手法で、LLM 自身が報酬モデル（Reward Model）として機能し、自分の応答を自己評価してアライメント学習データを自動生成する「LLM-as-a-Judge + Self-Play」の統合アプローチ。
LLMへの入力コンテキストから自己情報（Self-Information）スコアが低い冗長な文を選択的に削除するプロンプト圧縮手法。外部モデル不要でPerplexityベースの簡易実装が可能。
Selective Prediction（選択的予測）とは、モデルの校正済み確信度に基づいて「回答するか棄権するか」を動的に判断する意思決定フレームワークである。確信度が事前に設定した閾値を下回る場合は回答を保留し人間の専門家にエスカレーションすることで、システム全体の信頼性と正確性を向上させる。Abstention（棄権）やReject Option（拒否オプション）とも呼ばれる。
ターゲットLLM自身のセルフリフレクションでSFTデータの難易度・品質を評価する内部自己選定手法。外部APIや人手注釈なしに高品質データを選定できる2024年の提案。
Cerebras Systems が開発した WSE-3（Wafer-Scale Engine 3）は、300mm シリコンウェハー1枚をまるごと使った世界最大の AI チップ。4 兆トランジスタ、90 万コアを搭載し、単一チップで大規模モデルの学習と推論を実行可能。
2024年Cerebras公開のWafer Scale Engine搭載AI System。CS-3 with WSE-3 chip+900K cores+44GB on-chip SRAM+125PFLOPS+Llama 3.1 405B trainable+Andromeda Cluster。
Cerebras Systems製ウェーハスケールAIコンピュータ。900,000コア・44GBオンチップSRAM搭載の世界最大チップで超大規模モデルのトレーニング・推論を1台で処理。
単一のウェハーを巨大な一つのチップとして機能させる、AI学習特化型の次世代プロセッサ。従来のGPUクラスターが抱える通信ボトルネックを解消し、超大規模言語モデルの高速学習を実現する。
Microsoft DeepSpeed が提案したデータ並列学習の冗長メモリを排除する最適化手法。オプティマイザ状態・勾配・パラメータを GPU 間で分割（Sharding）し、各 GPU のメモリ使用量を 1/N に削減する。Stage 1〜3 の段階的な分割レベルがあり、FSDP の理論的基盤でもある。
ニューラルネットワークの特定層（残差ブロックの出力射影など）の重みをゼロで初期化する手法。全層ゼロ初期化は対称性問題で訓練不能となるが、残差接続の出力層のみをゼロ初期化すると各残差ブロックが訓練初期に恒等関数として振る舞い、深層ネットワークの勾配安定化に貢献する。GPT-2・GPT-3・OPT で標準採用されている。
Few-shot のデモ例を用意せず、「ステップバイステップで考えましょう」などのトリガーフレーズを付加するだけで LLM に推論ステップを生成させる Chain-of-Thought の簡略版手法。
例示なしで「ステップごとに考えましょう（Let's think step by step）」等のトリガーフレーズを追記するだけでCoT推論を誘発する手法。Kojima et al.（2022）提唱で、タスク固有の例示なしに広汎に適用できる。
Zero Shot Learningは、人工知能・機械学習分野における重要な概念・技術です。
LLMの複数応答を人間またはAIが比較・ランク付けした訓練データ。報酬モデルやDPO等の選好最適化手法で教師信号として使用され、「どの応答がより良いか」という相対的な品質判定を機械学習可能な形式で記録する。
IoT機器/PCパーツからの測定データ。CPU温度（Tjunction）・GPU温度・ファン回転数・電圧（VCore/VDD）・電流（A）・加速度・光量が代表で、AIDA64・HWiNFO64・MSI Afterburner・Home Assistantで取得。
不確実性が高い場合にLLMが回答を拒否・留保し、確信の高い質問にのみ回答する技術。回答精度と網羅率のトレードオフを制御するAbstention（棄権）機能の総称。
LLMで有害・不要な知識のみを選択的に除去し、他の有用な知識と汎化性能を保持する機械的忘却の高度なアプローチ。
Sentence Transformerとは、トランスフォーマーアーキテクチャをベースに文全体を1つの固定長ベクトルに変換する埋め込みモデルの総称で、Sentence-BERT（2019年）を起点にE5、BGE、GTE等のモデルが続き、セマンティック検索・RAG・テキスト分類の基盤技術となっている。
SentencePieceとは、Googleが開発した言語非依存のテキストトークナイザライブラリである。事前のスペース分割（前処理）を必要とせず、生テキストから直接サブワード分割を学習・実行する。BPEとUnigramの両方のアルゴリズムをサポートし、Llama、Gemma、T5など多数のLLMで採用されている。
Googleが開発したオープンソースのサブワードトークナイザーライブラリで、言語非依存の前処理不要なテキスト分割を実現し、LLaMA・T5・ALBERT等の主要LLMで広く採用されている。