AI・機械学習用語集

LLM自身に多様な指示（Instruction）と応答のペアを自動生成させ、それをInstruction Tuningの訓練データとして再帰的に活用する手法。Wang et al.（2023）が提案し、175件のシードタスクからGPT-3で52K件の指示データを生成してAlpacaの訓練に成功した。

2024年1月Texas A&M + Amazon発表Self-Extend・Industry-leading training-free long context extension + Industry-leading grouped attention + Industry-leading no fine-tuning + Industry-leading Self-Extend training-free long context extension 2024。

同一プロンプトから多数のChain-of-Thought推論パスをサンプリングし、多数決により最終回答の一貫性・精度を高めるデコーディング手法。

2024年成熟Self-Consistency・Industry-leading majority voting CoT sampling + Industry-leading 17.9% MATH improvement + Industry-leading Wang+Wei+Schuurmans Google Self-Consistency CoT enhancement 2024。

2022年Wang et al. + Google発表Self-Consistency paper・Industry-leading Self-Consistency sampling + voting paradigm + Industry-leading multiple CoT + voting + Industry-emerging Self-Consistency Pioneer。

Chain-of-Thoughtを複数回生成し多数決で最終答えを決定するデコーディング戦略。Wang et al.（2022）提唱で、単一CoTより一貫して高精度を達成。GSM8Kで+17ptの改善を報告。

Self-Consistencyサンプリングとは、Self-Consistency手法において複数の推論パスを生成するための確率的デコーディングプロセスである。温度パラメータ（temperature）、top-k、top-pなどのサンプリング制御パラメータを適切に設定し、同一プロンプトから多様かつ質の高い推論経路を生成する。サンプル数nの選択は精度とコストのトレードオフであり、Wang et al.（2022）の実験ではn=10〜40で最良の費用対効果が得られた。

Self-Consistency推論パスとは、Self-Consistency手法における個々の推論経路（reasoning path）とその集約メカニズムを指す。各推論パスはChain-of-Thought（CoT）形式の中間ステップと最終回答で構成され、同一問題に対して異なる推論戦略・計算順序・論理展開を経由する。集約は最終回答に対する多数決（majority voting）が標準だが、重み付き投票やクラスタリングベースの手法も研究されている。

LLM に同一の問題に対して複数の Chain-of-Thought 推論パスを独立に生成させ、最終回答の多数決（Majority Voting）で最も一貫した答えを選択する推論強化手法。

Self-Consistencyベンチマークとは、Self-Consistency手法の性能を評価するために使用される標準的なベンチマークスイートおよびその評価結果を指す。GSM8K（小学校算数）、SVAMP（算術文章題）、AQuA（代数推論）、StrategyQA（多段階常識推論）、ARC（科学推論）等が代表的であり、Wang et al.（2022）の原論文以降、GPT-4、Claude、PaLM、LLaMA等の主要モデルでSelf-Consistencyの効果が広く検証されている。

2024年Meta AI Research + UC Berkeley共同発表Self-Speculative Decoding paper・Industry-emerging Self-Drafted Early-Exit Speculative Decoding paradigm + Industry-leading no external draft model + Industry-leading early-exit self-drafted + Industry-emerging Self-Speculative paradigm Pioneer・Industry-leading 1.7-2.3x decoding speedup。

2023年Zhang et al. (HKU+Microsoft)発表Self-Speculative Decoding・Industry-leading self-speculative decoding LLM + Industry-leading same model skip layers as draft + Industry-leading 1.5-1.99× inference speedup + Industry-leading no draft model。

LLMの同一プロンプトを複数回サンプリングし、生成テキスト間の一貫性によってハルシネーションを無参照で検出するフレームワーク。外部知識DBなしで動作する。

2023年Manakul et al. (Cambridge)発表SelfCheckGPT・Industry-leading zero-resource hallucination detection LLM + Industry-leading sample consistency check + Industry-leading black-box LLM + Industry-leading no external knowledge required。

Google DeepMindが2024年に提案したLLMの推論強化フレームワーク。タスクに適した推論モジュール（批判的思考・分割統治等）を自動選択・組み合わせて推論構造を構築し、GPT-4やPaLM 2の難問正答率を大幅改善した。

Self-Driving Car 2026。Waymo One Robotaxi (SF/Phoenix/LA/Austin・150k weekly rides)・Tesla FSD V13.x (End-to-End Neural Net・HW4+)・Cybercab/Robovan (Tesla 2026予告)・Wayve AI Driver (UK・Embodied AI・Foundation Model・$1B Round)・Aurora Driver (Trucking・PIT)・Mobileye Drive・Pony.ai (中国)・Baidu Apollo Go・Cruise (GM 2024-EOL Robotaxi)・Zoox (Amazon)、2026年Robotaxi都市拡大。

Self-Paced Learning（SPL）とは、モデル自身の現在の学習状態に基づいて、次に学習すべきサンプルを自動的に選択するカリキュラム学習の一形態である。人手で難易度順序を定義する古典的カリキュラム学習と異なり、モデルの損失値やグラディエントノルムを指標として「今の自分にとって適切な難易度」のデータを動的に選択する。

2023年Asai et al. (UW+IBM+CMU+Allen AI)発表Self-RAG・Industry-leading self-reflective RAG LLM + Industry-leading retrieval decision learning + Industry-leading critique tokens + Industry-leading LLaMA-2 7B/13B fine-tuned。

Asai ら Washington/AI2 2023年 RAG 改良手法。LLM が検索要否を動的判断・retrieve token + critique で自己評価しながら生成

2024年Q1 Meta AI Research発表Self-Rewarding Language Models paper・Industry-emerging Self-Rewarding LLM paradigm + Industry-leading LLM self-judge self-reward generation Industry-emerging paradigm Pioneer + Industry-leading Self-Rewarding iterative DPO continual learning + Industry-leading Meta AI Research Industry-leading Industrial AI research backing。