1978件の用語
Pre Trained Model（事前学習モデル）は、現代のAI・機械学習分野において不可欠な技術です。この解説では、その基本概念から具体的な活用方法、そして将来展望まで、初心者から上級者まで理解できるよう詳細に解説します。PC自作における重要性や、関連技術との繋がりも掘り下げていきます。
Stanford大学が提案したコスト効率的なLLM利用戦略。複数のLLM APIをカスケード式に利用し、安価なモデルから順に試行して品質基準を満たせば強モデルへのエスカレーションをスキップすることで、GPT-4同等の品質をコスト98%削減で実現できることを示した。
Model Pruning+Distillation。Magnitude Pruning・Wanda (Weight*Activation・Stanford)・SparseGPT (Massachusetts)・LLM-Pruner・SliceGPT (Microsoft)・Knowledge Distillation (KD・Teacher→Student)・MiniLM v2/v3 Microsoft・DistilBERT・TinyLlama 1.1B・SmolLM2 1.7B (HF)・Llama 3.2 1B/3B Distill・Phi-4 14B (Distill 2026)・MobileLLM Meta・Layer Skip・SpargeAttention・¥0 OSS、2026年Knowledge Distill小型LLM主流。
BigScienceコンソーシアムが2022年に公開した176Bパラメータの多言語大規模言語モデル。46言語と13種のプログラミング言語に対応し、ROOTS 1.6TBコーパスで訓練。多機関・多国籍の協調研究成果として注目された。
Bloombergが2023年に発表した500億パラメータの金融特化LLM。3,630億トークンの金融データで学習し、金融NLPタスクで汎用LLMを大幅に上回る性能を示す。
2016年設立PlayHT(2024-Pro Play 3.0 Mini公開)。Pro 業界Mainstream Voice AI/TTS + Pro 142+言語対応Top独占 + Pro Voice Cloning + Pro Real-time TTS + Pro PlayDialog + Pro Y Combinator卒 + Pro $0-$99/月 Subscription + 2024-Pro Play 3.0 Mini + 累計2016-2025年9年Heritage。
LLMの推論においてプロンプトの前半（プレフィックス）のKVキャッシュを保存・再利用することで、同じシステムプロンプトを繰り返し使うコストとレイテンシを削減する最適化技術。
入力の先頭部分（Prefix）に双方向自己注意、後続部分に因果的（一方向）自己注意を適用するハイブリッドLMアーキテクチャ。GLM・ChatGLMシリーズで採用され、理解と生成を単一モデルで高精度に実行する。
2024年Industry-emerging LLM inference paradigm・Prefill phase + Decode phase separation architecture・LLM inference 2-phase characterization + Compute-intensive Prefill + Memory-bandwidth-intensive Decode + Industry-emerging Disaggregated Inference paradigm 2024年wave concept foundation・Mooncake + SplitWise + DistServe + vLLM Disaggregated + 多Industry-emerging research papers + production systems共有concept foundation・Industry-leading paradigm shift 2024年・GPU pool specialization + Industry-leading inference throughput + Industry-leading inference latency optimization。
2024年Q3 Avi Schiffmann (元19歳開発者・NCOV2019 Live COVID tracker 2020年バイラル成功) 設立Friend Inc発表のFriend AI Pendant・$99 one-time purchase (Subscription無・1-time payment + No recurring revenue model)・Emotional AI companion (Always-listening Pendant + Personal AI friend interaction + Text message-style replies + Emotional support + Companionship-focused AI use case + Personality persistent character)・Cloud-only processing + 15-hour battery + Pendant strap wear-mode + Bluetooth + iOS/Android app interaction・Controversial product positioning ($1.8M domain purchase friend.com + Always-listening privacy concern + Emotional AI ethical debate + Lonely audience targeting controversy) + AI Emotional companion category pioneer。
LLMのフルファインチューニングをランダム射影で低ランク勾配更新に変換するメモリ効率化手法。Han et al. 2024提案。LoRAと異なりウェイト行列の構造を変えず、オプティマイザ状態のメモリを削減しながらフルFTに近い精度を達成する。
Microsoftが2024年発表の統合ビジョン基盤モデル。キャプション・検出・グラウンディング・OCRを単一Seq2Seqアーキテクチャで処理。FLD-5Bデータセットで学習。
LLMが数値計算や論理的推論をPythonコードとして生成し、コードインタープリタで実行して正確な答えを得るプロンプト手法。
2023年Liu et al. + UC Berkeley発表Blockwise Parallel Transformer paper・Industry-leading Blockwise computation memory efficient + Industry-emerging Blockwise Attention UC Berkeley Pioneer。
2023年にKonstantinos Mishchenko・Aaron Defazzio（Meta・Samsung）が提案した学習率ハイパーパラメータ不要のLLM向けオプティマイザー。プロキシ距離推定によって最適学習率を自動適応し、グリッドサーチなしでAdamW相当以上の性能を達成する。
Pryzant et al.（2023）が提案した自動プロンプト最適化手法。LLM が失敗したケースをテキスト形式で批評し、その批評を「テキスト勾配」として使ってプロンプトを反復改善する。
Frontier大規模言語モデル比較。Anthropic Claude Opus 4.7 1M context・Claude Sonnet 4.6・OpenAI GPT-5・GPT-4o-mini・o3 Pro・Google Gemini 2.5 Pro/Flash・Meta Llama 4 (Maverick/Scout MoE)・Qwen3 235B/72B/32B (Alibaba)・DeepSeek V3/R1 671B・xAI Grok 3・Mistral Large 2 Medium 25.01・Reka Core 2、2026年Reasoning競争主流。
2024年発表Prompt Injection Defense LLM・Industry-leading prompt injection defense LLM + Industry-leading Spotlighting/StruQ/SecAlign/PromptShield + Industry-leading indirect prompt injection defense + Industry-leading Microsoft Prompt Shields。
LLM Prompt技術。Zero-shot/Few-shot/Many-shot ICL(In-Context Learning)・CoT(Chain-of-Thought・「Step-by-step」)・Self-Consistency(複数CoT sampling+majority vote)・ReAct(Reasoning + Acting・Tool use loop)・Tree of Thoughts(ToT)・Graph of Thoughts(GoT)・Reflexion(self-feedback)・PAL(Program-aided LM)・Active Prompting・PromptLayer(observability)・LangSmith(LangChain trace)・OpenAI Prompt Generator・Anthropic Prompt Library・2026年 Reasoning model(o3/Claude Extended Thinking)で CoT internalize、Promptシンプル化進行。
Prompt Engineering 5主要技法(2026年)。Zero-shot(直接質問・simple Q&A)・Few-shot(2-3 example示・format learning・classification)・CoT(Chain-of-Thought・「Step-by-step」「考えてください」・math/code/reasoning improve)・Self-Consistency(複数CoT sampling+majority vote・accuracy +5-10%)・ReAct(Reasoning + Acting・Tool use loop・search→reason→act→observe)・ToT(Tree of Thoughts・branch exploration・複雑推論)・Reflexion(self-feedback・iterative improvement)・PAL(Program-aided LM・Code execute reasoning)・Active Prompting・選択: Simple Q&A = Zero-shot・Format = Few-shot・Math/Code = CoT・Tool integration = ReAct・極限accuracy = Self-Consistency・2026年 Reasoning Models(o3/Claude Extended)で CoT internalize、Promptシンプル化進行。