AI・機械学習用語集

テキストの意味空間に透かしを埋め込む手法。LSH（局所性鋭敏型ハッシュ）で埋め込み空間を分割し特定の意味クラスタのトークンを優先選択することでパラフレーズ攻撃への耐性を高める。

LLMの複数サンプルを意味クラスタにグループ化し、意味的なばらつき度合いでハルシネーションを確率論的に検出する手法（Kuhn et al. 2023）。字句ではなく意味の不確実性を測定。

LLM出力の意味的等価クラスタに基づくエントロピーで不確実性を定量化する手法。Oxford大学が2024年Nature誌に発表。エントロピーが高いClaimはハルシネーションリスクが高い。

意味的に類似したクエリに対して過去のLLM応答を再利用するアプリケーション層のキャッシュ技術。ベクトル埋め込みによる類似度検索で完全一致でなくても応答を返せるため、APIコスト削減と応答速度の大幅改善を実現する。

LLMへのクエリを意味的な類似度に基づいてキャッシュし、同義・類似の質問に対して過去の応答を再利用する技術。完全一致ではなくベクトル類似検索を用いることで、表現が異なる同意の問い合わせにもキャッシュヒットを実現し、推論コストと応答遅延を大幅に削減する。

セマンティックキャッシュとは、LLMへのクエリを意味的類似性に基づいてキャッシュし、同一または類似の質問に対して推論コストを削減する技術である。

LLMへの入力をエンベディングでベクトル化し、意味的に類似した過去のクエリの応答を再利用するアプリケーション層のキャッシュ戦略。

ユーザーの入力テキストをベクトル埋め込みで意味的に解析し、最適な処理パス（LLMモデル・ツール・エージェント）へ振り分ける軽量ルーティングレイヤー。LLMを呼び出す前に高速な意図判定を行い、コスト削減とレイテンシ短縮を実現する。

テキストの意味的類似度（埋め込みベクトル）に基づいてリクエストを適切な処理経路に振り分けるOSSライブラリ。LLMを呼び出す前にルーティング判定を完了するため、超低レイテンシでのインテント分類を実現する。

セマンティックルーター（Semantic Router）とは、ユーザーのプロンプトをベクトル埋め込み（Embedding）に変換し、意味的類似度に基づいてリクエストを最適なLLMモデルやハンドラーに振り分けるルーティング技術である。Aurelio AIが開発したOSSライブラリ「semantic-router」が代表的実装であり、従来のキーワードマッチングやルールベースの分岐では捉えきれない「意味の近さ」を活用して、高精度かつ低レイテンシのルーティングを実現する。

2023年Hou et al.発表SemStamp Watermark・Industry-leading semantic-level watermark + Industry-leading sentence-level stamp + Industry-leading paraphrase robustness + Industry-leading first semantic LLM watermark。

SERAC（Semi-Parametric Editing with a Retrieval-Augmented Counterfactual Model）とは、ベースモデルの重みを変更せず、外部メモリに修正知識を格納し推論時にリトリーバーで参照する Memory-Augmented 型の知識編集手法である。編集数に上限がなく局所性が非常に高い。

LLMが自律的に「検索が必要か」「検索結果は関連しているか」「生成した回答は根拠に基づいているか」を判断するRAGフレームワーク。2023年にAsai et al.が提案し、不要な検索を省いて効率と精度を両立させる。

Transformerアーキテクチャの中核をなす機構で、入力シーケンス内の各トークンが他の全トークンとの関連度（Attention Weight）を計算し、文脈に応じた表現を動的に生成する仕組み。Query・Key・Valueの3つの射影行列を用いて計算される。

LLM自身に指示データを自動生成させるブートストラップ手法。少量のシードタスクから大量の多様な指示・応答ペアを生成し、そのデータで自己改善ファインチューニングを行う。

LLM自身を使って指示データを自動生成するフレームワーク。Wang et al. 2022年提案。少数のシードタスクからLLMが新たな指示・入力・出力を生成し、品質フィルタリング後に自分自身のファインチューニングに使う。

Self-Instructは、LLM自身を利用して指示-応答ペアのデータセットを自動生成し、そのデータで同じモデルまたは別のモデルをInstruction Tuningする自己学習フレームワークである。

2024年成熟Self-Instruct・Industry-leading LLM self-bootstrap instruction generation + Industry-leading 175 seed → 52K instructions + Industry-leading Alpaca + Vicuna basis + Industry-leading Wang+Mishra+Khashabi Yizhong Wang UW Self-Instruct synthetic instruction generation 2024。

2022年Wang et al. + University of Washington発表Self-Instruct paper・Industry-leading Self-Instruct LLM data augmentation paradigm + Industry-leading LLM self-generated instruction tuning data + Industry-emerging Self-Instruct Pioneer。

2022年Yizhong Wang et al. (UW+AI2)発表Self-Instruct・Industry-leading self-generated instruction dataset + Industry-leading 52K instructions GPT-3 generated + Industry-leading synthetic instruction tuning foundation + Industry-leading subsequent Alpaca/WizardLM foundation。