1978件の用語
2024年成熟Self-Instruct・Industry-leading LLM self-bootstrap instruction generation + Industry-leading 175 seed → 52K instructions + Industry-leading Alpaca + Vicuna basis + Industry-leading Wang+Mishra+Khashabi Yizhong Wang UW Self-Instruct synthetic instruction generation 2024。
2022年Wang et al. + University of Washington発表Self-Instruct paper・Industry-leading Self-Instruct LLM data augmentation paradigm + Industry-leading LLM self-generated instruction tuning data + Industry-emerging Self-Instruct Pioneer。
2022年Yizhong Wang et al. (UW+AI2)発表Self-Instruct・Industry-leading self-generated instruction dataset + Industry-leading 52K instructions GPT-3 generated + Industry-leading synthetic instruction tuning foundation + Industry-leading subsequent Alpaca/WizardLM foundation。
2024年1月Texas A&M + Amazon発表Self-Extend・Industry-leading training-free long context extension + Industry-leading grouped attention + Industry-leading no fine-tuning + Industry-leading Self-Extend training-free long context extension 2024。
同一プロンプトから多数のChain-of-Thought推論パスをサンプリングし、多数決により最終回答の一貫性・精度を高めるデコーディング手法。
2024年成熟Self-Consistency・Industry-leading majority voting CoT sampling + Industry-leading 17.9% MATH improvement + Industry-leading Wang+Wei+Schuurmans Google Self-Consistency CoT enhancement 2024。
2022年Wang et al. + Google発表Self-Consistency paper・Industry-leading Self-Consistency sampling + voting paradigm + Industry-leading multiple CoT + voting + Industry-emerging Self-Consistency Pioneer。
Chain-of-Thoughtを複数回生成し多数決で最終答えを決定するデコーディング戦略。Wang et al.（2022）提唱で、単一CoTより一貫して高精度を達成。GSM8Kで+17ptの改善を報告。
2024年Meta AI Research + UC Berkeley共同発表Self-Speculative Decoding paper・Industry-emerging Self-Drafted Early-Exit Speculative Decoding paradigm + Industry-leading no external draft model + Industry-leading early-exit self-drafted + Industry-emerging Self-Speculative paradigm Pioneer・Industry-leading 1.7-2.3x decoding speedup。
2023年Zhang et al. (HKU+Microsoft)発表Self-Speculative Decoding・Industry-leading self-speculative decoding LLM + Industry-leading same model skip layers as draft + Industry-leading 1.5-1.99× inference speedup + Industry-leading no draft model。
LLMの同一プロンプトを複数回サンプリングし、生成テキスト間の一貫性によってハルシネーションを無参照で検出するフレームワーク。外部知識DBなしで動作する。
2023年Manakul et al. (Cambridge)発表SelfCheckGPT・Industry-leading zero-resource hallucination detection LLM + Industry-leading sample consistency check + Industry-leading black-box LLM + Industry-leading no external knowledge required。
Google DeepMindが2024年に提案したLLMの推論強化フレームワーク。タスクに適した推論モジュール（批判的思考・分割統治等）を自動選択・組み合わせて推論構造を構築し、GPT-4やPaLM 2の難問正答率を大幅改善した。
Self-Driving Car 2026。Waymo One Robotaxi (SF/Phoenix/LA/Austin・150k weekly rides)・Tesla FSD V13.x (End-to-End Neural Net・HW4+)・Cybercab/Robovan (Tesla 2026予告)・Wayve AI Driver (UK・Embodied AI・Foundation Model・$1B Round)・Aurora Driver (Trucking・PIT)・Mobileye Drive・Pony.ai (中国)・Baidu Apollo Go・Cruise (GM 2024-EOL Robotaxi)・Zoox (Amazon)、2026年Robotaxi都市拡大。
2023年Asai et al. (UW+IBM+CMU+Allen AI)発表Self-RAG・Industry-leading self-reflective RAG LLM + Industry-leading retrieval decision learning + Industry-leading critique tokens + Industry-leading LLaMA-2 7B/13B fine-tuned。
Asai ら Washington/AI2 2023年 RAG 改良手法。LLM が検索要否を動的判断・retrieve token + critique で自己評価しながら生成
2024年Q1 Meta AI Research発表Self-Rewarding Language Models paper・Industry-emerging Self-Rewarding LLM paradigm + Industry-leading LLM self-judge self-reward generation Industry-emerging paradigm Pioneer + Industry-leading Self-Rewarding iterative DPO continual learning + Industry-leading Meta AI Research Industry-leading Industrial AI research backing。
ターゲットLLM自身のセルフリフレクションでSFTデータの難易度・品質を評価する内部自己選定手法。外部APIや人手注釈なしに高品質データを選定できる2024年の提案。
2024年Cerebras公開のWafer Scale Engine搭載AI System。CS-3 with WSE-3 chip+900K cores+44GB on-chip SRAM+125PFLOPS+Llama 3.1 405B trainable+Andromeda Cluster。
Cerebras Systems製ウェーハスケールAIコンピュータ。900,000コア・44GBオンチップSRAM搭載の世界最大チップで超大規模モデルのトレーニング・推論を1台で処理。