AI・機械学習

LLM に同一の問題に対して複数の Chain-of-Thought 推論パスを独立に生成させ、最終回答の多数決（Majority Voting）で最も一貫した答えを選択する推論強化手法。

Self-Consistencyベンチマークとは、Self-Consistency手法の性能を評価するために使用される標準的なベンチマークスイートおよびその評価結果を指す。GSM8K（小学校算数）、SVAMP（算術文章題）、AQuA（代数推論）、StrategyQA（多段階常識推論）、ARC（科学推論）等が代表的であり、Wang et al.（2022）の原論文以降、GPT-4、Claude、PaLM、LLaMA等の主要モデルでSelf-Consistencyの効果が広く検証されている。

2024年Meta AI Research + UC Berkeley共同発表Self-Speculative Decoding paper・Industry-emerging Self-Drafted Early-Exit Speculative Decoding paradigm + Industry-leading no external draft model + Industry-leading early-exit self-drafted + Industry-emerging Self-Speculative paradigm Pioneer・Industry-leading 1.7-2.3x decoding speedup。

2023年Zhang et al. (HKU+Microsoft)発表Self-Speculative Decoding・Industry-leading self-speculative decoding LLM + Industry-leading same model skip layers as draft + Industry-leading 1.5-1.99× inference speedup + Industry-leading no draft model。

LLMの同一プロンプトを複数回サンプリングし、生成テキスト間の一貫性によってハルシネーションを無参照で検出するフレームワーク。外部知識DBなしで動作する。

2023年Manakul et al. (Cambridge)発表SelfCheckGPT・Industry-leading zero-resource hallucination detection LLM + Industry-leading sample consistency check + Industry-leading black-box LLM + Industry-leading no external knowledge required。

Google DeepMindが2024年に提案したLLMの推論強化フレームワーク。タスクに適した推論モジュール（批判的思考・分割統治等）を自動選択・組み合わせて推論構造を構築し、GPT-4やPaLM 2の難問正答率を大幅改善した。

Self-Driving Car 2026。Waymo One Robotaxi (SF/Phoenix/LA/Austin・150k weekly rides)・Tesla FSD V13.x (End-to-End Neural Net・HW4+)・Cybercab/Robovan (Tesla 2026予告)・Wayve AI Driver (UK・Embodied AI・Foundation Model・$1B Round)・Aurora Driver (Trucking・PIT)・Mobileye Drive・Pony.ai (中国)・Baidu Apollo Go・Cruise (GM 2024-EOL Robotaxi)・Zoox (Amazon)、2026年Robotaxi都市拡大。

Self-Paced Learning（SPL）とは、モデル自身の現在の学習状態に基づいて、次に学習すべきサンプルを自動的に選択するカリキュラム学習の一形態である。人手で難易度順序を定義する古典的カリキュラム学習と異なり、モデルの損失値やグラディエントノルムを指標として「今の自分にとって適切な難易度」のデータを動的に選択する。

2023年Asai et al. (UW+IBM+CMU+Allen AI)発表Self-RAG・Industry-leading self-reflective RAG LLM + Industry-leading retrieval decision learning + Industry-leading critique tokens + Industry-leading LLaMA-2 7B/13B fine-tuned。

Asai ら Washington/AI2 2023年 RAG 改良手法。LLM が検索要否を動的判断・retrieve token + critique で自己評価しながら生成

2024年Q1 Meta AI Research発表Self-Rewarding Language Models paper・Industry-emerging Self-Rewarding LLM paradigm + Industry-leading LLM self-judge self-reward generation Industry-emerging paradigm Pioneer + Industry-leading Self-Rewarding iterative DPO continual learning + Industry-leading Meta AI Research Industry-leading Industrial AI research backing。

Meta AI が 2024年に発表した手法で、LLM 自身が報酬モデル（Reward Model）として機能し、自分の応答を自己評価してアライメント学習データを自動生成する「LLM-as-a-Judge + Self-Play」の統合アプローチ。

Selective Prediction（選択的予測）とは、モデルの校正済み確信度に基づいて「回答するか棄権するか」を動的に判断する意思決定フレームワークである。確信度が事前に設定した閾値を下回る場合は回答を保留し人間の専門家にエスカレーションすることで、システム全体の信頼性と正確性を向上させる。Abstention（棄権）やReject Option（拒否オプション）とも呼ばれる。

ターゲットLLM自身のセルフリフレクションでSFTデータの難易度・品質を評価する内部自己選定手法。外部APIや人手注釈なしに高品質データを選定できる2024年の提案。

Cerebras Systems が開発した WSE-3（Wafer-Scale Engine 3）は、300mm シリコンウェハー1枚をまるごと使った世界最大の AI チップ。4 兆トランジスタ、90 万コアを搭載し、単一チップで大規模モデルの学習と推論を実行可能。

2024年Cerebras公開のWafer Scale Engine搭載AI System。CS-3 with WSE-3 chip+900K cores+44GB on-chip SRAM+125PFLOPS+Llama 3.1 405B trainable+Andromeda Cluster。

Cerebras Systems製ウェーハスケールAIコンピュータ。900,000コア・44GBオンチップSRAM搭載の世界最大チップで超大規模モデルのトレーニング・推論を1台で処理。

単一のウェハーを巨大な一つのチップとして機能させる、AI学習特化型の次世代プロセッサ。従来のGPUクラスターが抱える通信ボトルネックを解消し、超大規模言語モデルの高速学習を実現する。

Sentence Transformerとは、トランスフォーマーアーキテクチャをベースに文全体を1つの固定長ベクトルに変換する埋め込みモデルの総称で、Sentence-BERT（2019年）を起点にE5、BGE、GTE等のモデルが続き、セマンティック検索・RAG・テキスト分類の基盤技術となっている。