AI・機械学習用語集

複数リクエストが共通するプレフィックスのKVキャッシュを再利用する最適化。SGLangのRadixAttention・vLLMのPrefix Cachingが代表実装。

LLM推論において、複数リクエスト間で共通するプロンプトの先頭部分（プレフィックス）のKVキャッシュを共有・再利用する最適化手法。

Transformer の各層の Key-Value ペアに学習可能な連続ベクトル（Prefix）を挿入するパラメータ効率的ファインチューニング手法。Prompt Tuning が入力 embedding 層のみに作用するのに対し、Prefix Tuning は全層の Attention に介入するため、より細かな制御が可能。

LLMの全パラメータをフリーズしたまま、入力の前に学習可能な仮想トークン列（プレフィックス）を付加して特定タスクに適応させるPEFT手法。

入力の先頭部分（Prefix）に双方向自己注意、後続部分に因果的（一方向）自己注意を適用するハイブリッドLMアーキテクチャ。GLM・ChatGLMシリーズで採用され、理解と生成を単一モデルで高精度に実行する。

2024年Industry-emerging LLM inference paradigm・Prefill phase + Decode phase separation architecture・LLM inference 2-phase characterization + Compute-intensive Prefill + Memory-bandwidth-intensive Decode + Industry-emerging Disaggregated Inference paradigm 2024年wave concept foundation・Mooncake + SplitWise + DistServe + vLLM Disaggregated + 多Industry-emerging research papers + production systems共有concept foundation・Industry-leading paradigm shift 2024年・GPU pool specialization + Industry-leading inference throughput + Industry-leading inference latency optimization。

2024年Q3 Avi Schiffmann (元19歳開発者・NCOV2019 Live COVID tracker 2020年バイラル成功) 設立Friend Inc発表のFriend AI Pendant・$99 one-time purchase (Subscription無・1-time payment + No recurring revenue model)・Emotional AI companion (Always-listening Pendant + Personal AI friend interaction + Text message-style replies + Emotional support + Companionship-focused AI use case + Personality persistent character)・Cloud-only processing + 15-hour battery + Pendant strap wear-mode + Bluetooth + iOS/Android app interaction・Controversial product positioning ($1.8M domain purchase friend.com + Always-listening privacy concern + Emotional AI ethical debate + Lonely audience targeting controversy) + AI Emotional companion category pioneer。

LLMのフルファインチューニングをランダム射影で低ランク勾配更新に変換するメモリ効率化手法。Han et al. 2024提案。LoRAと異なりウェイト行列の構造を変えず、オプティマイザ状態のメモリを削減しながらフルFTに近い精度を達成する。

Microsoftが2024年発表の統合ビジョン基盤モデル。キャプション・検出・グラウンディング・OCRを単一Seq2Seqアーキテクチャで処理。FLD-5Bデータセットで学習。

LLMが数値計算や論理的推論をPythonコードとして生成し、コードインタープリタで実行して正確な答えを得るプロンプト手法。

拡散モデルのサンプリングステップ数を段階的に半減させる蒸留手法。各段階で2ステップの推論を1ステップに圧縮することを繰り返し、最終的に数ステップで高品質な画像生成を実現する。

プログレッシブトレーニング（Progressive Training）とは、モデルのアーキテクチャやデータの複雑度を段階的に拡大しながら訓練する手法である。LLMの文脈では、小さいモデルから大きいモデルへの段階的拡張（Progressive Growing）や、短いシーケンスから長いシーケンスへの段階的延長（Progressive Length Training）が代表的な応用である。

LLMの継続学習においてタスクごとにソフトプロンプトベクトルを順次追加・凍結することで壊滅的忘却を防ぐ手法。各タスクのプロンプトは独立して学習され、推論時にタスクIDに応じたプロンプトが入力シーケンスに付加される。

LLMの推論過程における各ステップの正しさを個別に評価する報酬モデル。最終回答のみを評価するOutcome Reward Model（ORM）と異なり、推論の途中段階でフィードバックを与えることで、より精密な推論品質の制御を可能にする。

最終回答だけでなく推論の各ステップに報酬スコアを付与するモデル。数学・コーディング等の段階的推論タスクで、誤った中間ステップを早期に検出し、正しい推論パスへ誘導する。OpenAIのLet's Verify Step by Step（2023年）で提唱され、o1/o3等の推論モデルの基盤技術となっている。

2023年Liu et al. + UC Berkeley発表Blockwise Parallel Transformer paper・Industry-leading Blockwise computation memory efficient + Industry-emerging Blockwise Attention UC Berkeley Pioneer。

2023年にKonstantinos Mishchenko・Aaron Defazzio（Meta・Samsung）が提案した学習率ハイパーパラメータ不要のLLM向けオプティマイザー。プロキシ距離推定によって最適学習率を自動適応し、グリッドサーチなしでAdamW相当以上の性能を達成する。

Pryzant et al.（2023）が提案した自動プロンプト最適化手法。LLM が失敗したケースをテキスト形式で批評し、その批評を「テキスト勾配」として使ってプロンプトを反復改善する。

Frontier大規模言語モデル比較。Anthropic Claude Opus 4.7 1M context・Claude Sonnet 4.6・OpenAI GPT-5・GPT-4o-mini・o3 Pro・Google Gemini 2.5 Pro/Flash・Meta Llama 4 (Maverick/Scout MoE)・Qwen3 235B/72B/32B (Alibaba)・DeepSeek V3/R1 671B・xAI Grok 3・Mistral Large 2 Medium 25.01・Reka Core 2、2026年Reasoning競争主流。

LLMに送るプロンプトのトークン数を削減する技術の総称。不要な文言の除去、Few-shot例の最適化、自動圧縮アルゴリズム（LLMLingua等）の適用により、コスト削減とレイテンシ短縮を同時に実現する。