AI・機械学習用語集

LLM推論において生成が終了したシーケンスを即座にバッチから除去し、新規リクエストを動的に挿入することでGPU利用率を最大化するバッチング戦略。

LLM推論サーバーにおいて、リクエスト単位ではなくイテレーション（1トークン生成ステップ）単位でバッチを動的に再構成する手法。完了したリクエストを即座に除外し、新規リクエストを即座に挿入することでGPU利用率を最大化する。

LLM推論サービングにおける動的スケジューリング手法。完了シーケンスを即時排除して新リクエストを継続的に挿入することでGPU利用率を最大化する。Orca（OSDI 2022）が提案したIteration-Level Schedulingを起源とする。

動的バッチ推論スケジューリング。vLLM continuous batching・TGI rolling batch・SGLang Radix・DeepSpeed-FastGen Dynamic SplitFuse・NVIDIA TensorRT-LLM in-flight batchingが2026年代表、Per-request dynamic add/removeでGPU利用率80%+、Static Batch比3-10xスループット達成。

2024年成熟Continuous Batching・Industry-leading iteration-level scheduling + Industry-leading dynamic batch insertion + Industry-leading 23x throughput improvement + Industry-leading vLLM PagedAttention Continuous Batching inference optimization 2024。

LLM推論のスループットを大幅向上させるバッチ処理最適化手法。従来の静的バッチと異なり、生成完了したシーケンスを待たずに新しいリクエストを動的に挿入することでGPU利用率を最大化する。

Continuous Batching（連続バッチング）とは、LLMの推論においてイテレーション（デコードステップ）単位でリクエストの追加と完了を動的に管理するバッチング手法である。従来のStatic Batchingがバッチ内の全リクエスト完了まで待機するのに対し、Continuous Batchingは完了したリクエストを即座に解放して新たなリクエストを挿入することで、GPUの利用率を常に最大化する。vLLM、TGI、TensorRT-LLMなど主要なLLMサービングエンジンが採用する標準的なバッチング方式である。

Yu ら ORCA 2022年 LLM 推論バッチング革新。生成途中のリクエストを動的にバッチ再配置→スループット 5-10倍向上

2023年Continue.dev公開Continue。Pro 業界Pro Mainstream Open Source AI Code Assistant Top + Pro 米国Continue.dev + Pro VSCode拡張 + Pro JetBrains対応 + Pro Apache 2.0 + Pro Multi-Model対応 + Pro Local LLM対応 + 累計2023-2026年3年Heritage継承代表機。

VS CodeとJetBrains向けのオープンソースAIコードアシスタント拡張機能。任意のLLMをバックエンドに接続してコード補完・チャット・編集を実現する。

LLMが一度に処理できるトークン数の上限。GPT-4oは128K、Claude 3.5 Sonnetは200K、Gemini 1.5 Proは100万トークンに達し、長文書類・コードベース全体の一括処理が可能になった。

LLM が一度に処理できるトークン数の上限。GPT-4o は 128K、Claude 3.5 は 200K、Gemini 1.5 Pro は 2M トークン。長いほど長文理解・RAG の精度が向上するが推論コストも増大。

LLMの有限なコンテキスト長を効率的に活用するための情報選択・圧縮技術。トークン上限内で最大限の関連情報を保持し、不要な情報を適切に破棄・要約する戦略を含む。

LLMのコンテキストウィンドウ拡大（4K→128K→1M+トークン）がもたらす経済的影響を分析する概念。長文処理のコスト増加、Lost in the Middle問題による精度低下、RAG vs Long Contextのコスト比較など、コンテキスト長と費用対効果の関係を体系的に扱う。

LLMの学習時コンテキスト長を推論時に外挿して拡張する技術群。位置エンコーディングの補間・外挿手法（NTK-Aware Scaling、Dynamic NTK等）により、追加学習なしまたは最小限のファインチューニングで対応長を数倍に伸ばす。

1M Context実用戦略。Claude Opus 4.7 1M context(2026年・$15/$75 Mtok・cache hit -90% pricing $1.5/$7.5)・Long context Effective rate低下(needle-in-haystack benchmark Top回答精度95%・middle 80%・end 90%)・Lost in the middle問題・Prompt order重要(critical info冒頭/末尾)・Compaction自動(Claude Code: 1M超でcontext clear)・Memory tool併用(persistent state)・Streaming Output(時間短縮)・Cost 1M token = $15・1書籍400ページ ≈ 100k token・10書籍 = 1M context・2026年 1M大規模Code base/論文Bulk handling実用、Cost管理重要。

コンテキスト蒸留（Context Distillation）とは、大規模言語モデルにおいてプロンプトやシステム指示に含まれる知識・振る舞いをモデルのパラメータ自体に内在化させる技術である。推論時のプロンプト長を削減しつつ、同等の出力品質を維持することを目的とする。

大規模言語モデルの推論時に与えるプロンプトやシステム指示の振る舞いをモデルのパラメータに内在化させる蒸留手法。推論時のプロンプト長を削減しつつ、同等の出力品質を維持する技術として注目されている。

テキスト・画像・音声などのコンテンツを自動分析し、有害・不適切・ポリシー違反の内容を検出・遮断するフィルタリング技術。LLMではガードレールの中核コンポーネントとして機能する。

LLMデコーディングにおいて次トークンの確率（モデルスコア）と既生成トークンとの類似度（degeneration penaltyを差し引いた値）を組み合わせて選択する手法。繰り返し・退化現象を抑制し、一貫性と多様性を両立する。