AI・機械学習用語集

複数の LLM 推論リクエスト間で、共通するプロンプトプレフィックス部分の KV キャッシュを共有・再利用する技術。同一システムプロンプトを使う複数ユーザーのリクエストを効率化する。

トレーニング済みLLMを推論リクエストに応答できる形でデプロイする技術基盤。スループット・レイテンシ・コスト効率のトレードオフを管理し、vLLM/TGI/TensorRT-LLMなど専用エンジンでバッチ処理・連続バッチング・KVキャッシュを最適化する。

LLM が敵対的入力・分布外データ・ノイズ・攻撃に対してどの程度安定した出力を維持できるかを定量評価するプロセス。HarmBench・AdvBench・WildGuard 等の標準ベンチマークで実施される。

LLM（大規模言語モデル）が一度に処理できるトークン数の上限を大幅に拡張した技術。従来の4K〜8Kトークンから128K〜10Mトークンへと飛躍的に増加し、長大な文書の要約・分析や複数文書の横断的な質問応答が可能になった。GPT-4 Turbo（128K）、Claude 3.5（200K）、Gemini 1.5 Pro（2M）などが代表例。

LLMが生成した自然言語テキストから構造化データ（JSON、XML、テーブル、リストなど）を抽出・解析する技術。正規表現、専用パーサー、再帰的修正プロンプトなどの手法で、プログラムが処理可能な形式に変換する。

LLMの出力が事前定義したルール・スキーマ・品質基準に適合しているかを検証し、不適合な場合に修正・リトライ・フォールバックを行う機構。Guardrails AI、Instructor、Pydanticバリデーターなどのツールが提供し、LLMアプリケーションの信頼性を担保する。

LLMの生成出力を後処理段階で検査・修正・ブロックする技術。有害コンテンツ検出・PII除去・事実性検証・フォーマット強制等を推論パイプラインの最終段階で適用し、安全で正確な出力を保証する。

LLMが生成したテキスト・画像・コードなどの出力をユーザーに返す前にリアルタイムで検査し、有害・不正確・ポリシー違反の内容を検出・修正・遮断する仕組み。入力フィルタとは異なり、モデルの実際の生成物を制御する点が特徴。

LLMアウトプットルーティング（LLM Output Routing）とは、ユーザーのプロンプトやタスク特性に応じて最適なLLM（大規模言語モデル）を動的に選択・切り替えするルーティング技術の総称である。単一モデルへの固定的なAPI呼び出しではなく、品質・コスト・レイテンシ・専門性といった複数の評価軸に基づき、リクエスト単位でモデルを振り分けることで、システム全体のコストパフォーマンスと応答品質を最適化する。Martian、Not Diamond、Unify.ai、OpenRouter、LiteLLM等のルーティングプラットフォームが代表的な実装例である。

LLMの中間層における活性化ベクトルを直接操作することで、重みを変更せずにモデルの出力傾向を制御する技術群の総称。Representation Engineeringとも呼ばれる。

GPT-4oやClaude 4などの高性能LLMを審判モデルとして活用し、他のLLMの出力品質を自動評価する手法。人間評価との一致率が85-90%に達し、コスト効率が高いことから2025年以降のLLM評価の標準手法となっている。

LLM自体を評価者として用いてAI出力の品質を評価するアプローチ。人間アノテーターの代替として強力なLLM（GPT-4/Claude等）が他モデルの出力をスコアリング・比較する手法。

アテンション機構とは、入力シーケンス内の各トークンが他の全トークンとの関連度を動的に計算し、重要な情報に選択的に注目する仕組みである。2017年のTransformer論文「Attention Is All You Need」で提案されたSelf-Attentionが基盤となり、GPT-4o、Claude 4、Gemini 2.5 Pro、Llama 3.1など現代のLLMすべてがこの機構を中核に採用している。

LLMが生成した回答の各主張に対して、根拠となった情報源を特定・提示する技術で、出力の透明性と検証可能性を確保するための仕組み。

LMSYS Chatbot Arena の対戦形式を自動化し、複数の LLM を自己対戦させてEloレーティングを算出する評価手法。人間の投票を LLM ジャッジで代替することで大規模・高頻度なモデル評価を実現する。

LLM安全性評価フレームワークとは、大規模言語モデルの安全性・堅牢性・倫理性を体系的にテスト・測定するためのベンチマーク、ツールキット、評価基準の総称である。HarmBench、MITRE ATLAS、OWASP LLM Top 10などが代表例。

Transformerモデルにおいてトークンの並び順情報を付与する技術の総称。Self-Attentionは本来順序を区別できないため、位置エンコーディングがなければ「猫が犬を追う」と「犬が猫を追う」を同一視してしまう。絶対位置・相対位置・回転型など複数の方式が研究されている。

LLM自体を分類器として使用し、ユーザーの入力意図（Intent）を判定して最適な処理パスに振り分ける手法。Semantic Routerより精度が高いが、LLM呼び出しコストとレイテンシが発生するため、高精度が求められるエンタープライズ用途で採用される。

LLM Inference Acceleratorは、大規模言語モデル（Large Language Model）の推論処理を高速化する専用ハードウェアアクセラレータです。2025年に登場した最新世代のAIチップは、従来のGPUベースの推論と比較して、大幅な電力効率の改善と推論速度の向上を実現しています。

LLM引用生成（Citation Generation）とは、大規模言語モデルが回答を生成する際に、各主張や事実に対して出典情報（引用元URL、文書名、段落番号等）を自動的に付与する技術である。Attributable LLM、Attributed QA等とも呼ばれ、ALCE（Automatic LLMs' Citation Evaluation）ベンチマークにより引用精度が定量評価される。