14805件の用語
学習済みLLMを医療・法律・金融など特定ドメインのコーパスで継続学習し、専門知識と一般能力を両立させるトレーニング手法。
2つの確率分布間の非対称な距離を測定する情報理論的指標。知識蒸留やRLHFのKLペナルティとしてLLM学習の中核を担う。
複数のLLMプロバイダ（OpenAI、Anthropic、Google、ローカルLLM等）へのアクセスを統一APIで抽象化し、ルーティング・認証・レート制限・コスト管理・ロギング・キャッシュ等の横断的機能を提供するミドルウェア。APIゲートウェイのLLM特化版であり、LiteLLM、Portkey、Helicone等が代表的。
言語モデルの事前学習で最も広く使われる損失関数。モデルが予測した次トークンの確率分布と正解分布の差異を最小化する。
LLMを用いて自律的に交渉を行うAIエージェント。価格交渉・契約交渉・資源配分など、対話的な合意形成タスクに特化。
LLM合成データとは、大規模言語モデル（LLM）を用いて人工的に生成されたテキストデータのことで、モデルの学習・評価・ファインチューニングに活用される技術である。
GPT-4やClaude等の強力なLLMを使って高品質なinstruction-followingデータを人工的に生成する技術。Self-InstructやEvol-Instructなどの手法でデータ生成コストを大幅に削減しつつモデル性能を向上させる。
LLM合成データ拡張とは、既存のデータセットをLLMの能力を活用して言い換え・翻訳・スタイル変換・難易度調整などにより量的・質的に拡張する技術であり、少量データからの効率的なモデル学習を実現する。
LLMを使って学習用データを人工的に生成する技術。実データの不足・プライバシー・コストの問題を補完し、指示チューニング・アライメント・ドメイン特化ファインチューニング向けデータを大量生成する。
LLM合成データ生成とは、大規模言語モデルのAPI呼び出しやローカル推論を通じて、学習用テキストデータを自動的に大量生産する技術であり、Self-Instruct・Evol-Instruct・Magpieなど多様な手法が存在する。
LLM合成データフィルタリングとは、LLMが生成した大量の合成データから低品質・有害・重複・矛盾するサンプルを自動的に検出・除去し、学習に使用するデータの品質を保証する技術である。
LLM合成ペルソナとは、大規模言語モデル（LLM）を用いて特定の人格特性・知識・行動パターンを持つ仮想的な人物像（ペルソナ）を生成し、ユーザーテスト・市場調査・教育シミュレーション・対話エージェントなどに活用する技術体系である。
LLM構造化出力とは、大規模言語モデルの応答をJSON・XML・特定スキーマなどの決まった形式で出力させる技術の総称で、アプリケーション統合やデータパイプラインの自動化において不可欠な機能である。
LLMの応答をJSON・XML・YAML等の構造化フォーマットで出力させ、プログラムから型安全に利用可能にする技術。OpenAIのStructured Outputs、AnthropicのTool Use、GoogleのControlled Generationなど各プロバイダが独自の実装を提供している。
LLMのアテンションヘッド・FFNニューロン・レイヤー全体などの構造単位を除去してモデルを軽量化する手法。非構造的プルーニングと異なりGPU推論で直接高速化が得られる。
LLM（大規模言語モデル）の学習において、損失関数の勾配情報を利用してモデルパラメータを効率的に更新する手法の総称。Adam 系を基本に、Lion・Sophia・LAMB など 2023-2026 年に多数の改良オプティマイザが提案され、学習速度・メモリ効率・収束安定性が大幅に向上した。
Transformerの二次計算量ボトルネックを解消するために設計された代替アーキテクチャの総称。状態空間モデル（SSM）、線形Attention、RNN復権型など複数のアプローチが存在し、長系列処理での推論効率を大幅に改善する。
コードの前後の文脈（プレフィックスとサフィックス）を入力として、中間部分を生成する技術。Fill-in-the-Middle（FIM）とも呼ばれ、コード補完の中核テクニックである。
大規模言語モデル（LLM）を用いてプログラムのソースコードを自動的に生成する技術。自然言語による指示やコメントからコードを出力し、開発生産性を飛躍的に向上させる。
LLMを用いてプログラムのバグを自動的に検出・原因特定・修正提案する技術。エラーメッセージやスタックトレースを解析し、根本原因の特定と修正コードの生成を行う。