AI・機械学習用語集

LLM Semantic Router（セマンティックルーター）とは、ユーザークエリの意味的内容をベクトル埋め込みで分類し、適切な処理パス（モデル・ツール・ワークフロー）へ高速に振り分ける仕組みである。LLM を呼び出さずにルーティング判定を行うため、レイテンシ 1-5ms で動作する。

Self-Consistency（自己一貫性）とは、大規模言語モデル（LLM）の推論精度を向上させるデコーディング手法であり、同一の問題に対して複数の推論パス（Chain-of-Thought）をサンプリングし、最終回答の多数決（majority voting）によって最も一貫性のある答えを選択するアプローチである。Wang et al.（2022）の論文 "Self-Consistency Improves Chain of Thought Reasoning in Language Models" で提案され、greedy decodingと比較してGSM8Kで+17.9%、SVAMPで+11.0%の精度向上を達成した。

LLMが自分自身のコピーや過去バージョンと対戦・対話することで、外部の人間フィードバックなしに応答品質を向上させる学習パラダイム。SPIN・Self-Rewarding LM・Debate などの手法が含まれる。

不確実性が高い質問に対してLLMが回答を保留・棄権する能力。回答精度と棄権率のトレードオフを最適化し、高信頼な回答のみ出力する手法。

LLM創発的能力（Emergent Abilities）とは、大規模言語モデルのパラメータ数や訓練データ量が一定の閾値を超えた際に、小規模モデルでは観測されなかった新たな能力が突然出現する現象を指す。Chain-of-Thought推論、In-Context Learning、多桁演算などが代表例として挙げられるが、2023年以降その解釈は論争の的となっている。

LLMが回答を生成する際に参照した情報源のURLやドキュメント名を回答に付記する機能で、ユーザーが出典を確認・検証できるようにする仕組み。

LLM生成テキストに統計的検出可能なシグナルを埋め込む手法。Greenlist/Redlistトークン選択で生成分布を偏らせる。

LLM（大規模言語モデル）の学習時にモデル出力と正解の乖離を数値化する関数。Cross-Entropy Loss を基本とし、RLHF や DPO など人間の選好を反映する損失関数が 2024-2026 年に急速に多様化した。損失関数の設計がモデルの品質・安全性・効率を左右する。

複数のLLM呼び出しを直列に連鎖させ、前段の出力を次段のプロンプトに組み込むことで、単一呼び出しでは困難な複雑なタスクを段階的に解決する手法。

大規模な教師モデル（Teacher）の知識を小規模な生徒モデル（Student）に転写する圧縮技術。モデルサイズを10-50倍縮小しつつ教師の80-95%の性能を維持する。TinyLlama、Phi-4 Mini、Gemma 2 2Bなどが代表的な蒸留モデルである。

LLM知識蒸留データとは、大規模な教師モデル（GPT-4・Claude等）の出力を収集して小型の生徒モデルの学習に使用するデータであり、Orca方式やAlpaca方式が代表的な蒸留データ生成手法である。

LLM知識転移（Knowledge Transfer）とは、事前学習済みの大規模言語モデルが保持する言語理解・生成能力・ドメイン知識を、異なるアーキテクチャやサイズのモデル、あるいは異なるタスクに効率的に移転する技術の総称である。

LLMの出力が入力コンテキスト（ソース文書・プロンプト・検索結果）に対してどれだけ正確に沿っているかを定量的に測定する評価手法。要約・QA・RAGシステムの品質管理に不可欠。

LLMが具体例を超えて一般的なパターンや関係性を認識・適用する能力。アナロジー推論・規則帰納・関係推論などを含み、AGI研究の中核テーマ。

LLMが外部ツールやAPIを呼び出して情報取得・計算・データ操作などを自律的に行う機能。テキスト生成だけでは対応できないリアルタイム検索や数値計算を補完し、AIアシスタントの実用性を大幅に高める技術である。

OpenAI/Anthropic が提唱した手法で、2つの LLM エージェントが特定の主張について議論を交わし、人間またはジャッジモデルが最終判定を行うことで超人的タスクのアライメントを実現するアプローチ。

LLMの重み行列を低ランクの行列積に分解してパラメータ数を削減する手法。LoRA（Low-Rank Adaptation）の理論的基盤であり、SVD分解やTensor Decompositionを用いてモデルの冗長性を除去する。

LLMの訓練データにベンチマークや評価用データが混入し、モデルの性能測定が不正確になる現象。公平な評価を阻害する重大な課題として研究が進む。

大規模言語モデル（LLM）の訓練・ファインチューニングにおいて、既存のデータセットを変換・合成して訓練データ量と多様性を増加させる技法群。Back-Translation・Paraphrase・Self-Instruct・Synthetic QA 生成などの手法があり、データ不足やドメイン偏りの課題を解決する。

LLMの学習に使用するデータセットを収集・選別・整理・品質管理する一連のプロセス。モデル性能の80%以上がデータ品質に依存するとされ、近年最も注目される研究領域の一つ。