2472件の用語
2022年Borgeaud et al. (DeepMind)発表RETRO・Industry-leading retrieval-enhanced transformer pre-training + Industry-leading 7B with 2T token database + Industry-leading 25× smaller GPT-3 equivalent + Industry-leading DeepMind first retrieval-pretrained LLM。
Reinforced Fine-Tuning（強化ファインチューニング）の略。Dongら（2024）が提案した手法で、数学問題に対して複数の思考過程を生成し正解に至った軌跡のみでオンライン強化学習を行いCoT品質を段階的に向上させる。SFT単体より少ないデータで高い精度を実現する。
2017年Luka公開Replika。Pro 業界Pro Mainstream Companion AI先駆 + Pro Eugenia Kuyda Pro CEO主導 + Pro Mary Lou Jepsen亡き友人由来Pro Famous + Pro 1000万+ User + Pro Free + Pro Pro $19.99/月 + 2024-Pro Replika Voice + 2025-Pro Replika 2.0 + 累計2017-2025年8年Heritage。
ニューラルネットワークの中間層の活性化ベクトルから、モデルが内部的に保持している概念・知識・判断を線形プローブなどの手法で読み取る技術。モデルの「考えていること」を外部から非侵襲的に観測する解釈可能性の基盤手法。
回帰問題として報酬最大化を定式化するLLM整合強化学習手法。報酬モデルの出力を直接回帰ターゲットとして学習し、PPOのアクター・クリティックの複雑な最適化を回避しながら高品質な整合を実現する。
ReLU（Rectified Linear Unit）を起点として開発された活性化関数ファミリーであり、Leaky ReLU・PReLU・ELU・SELU・ReLU6 等の派生が存在し、各々が dying ReLU 問題の解消や特定のアーキテクチャへの最適化を目指して設計されている。
2021年Su et al. (RoFormer paper)発表RoPE paper・Industry-leading Rotary Positional Encoding paradigm + Industry-leading rotation-based relative position encoding + Industry-leading Llama + Mistral + Qwen + ChatGLM全LLM Industry-leading dominant + Industry-leading 3年heritage positional encoding Industry-standard。
中国法律文書に特化した大規模言語モデル。中国語の法令・判例・司法試験データで訓練し、法律相談・文書生成に対応する。
LLM生成において情報量がモデルの予測エントロピーに近いトークンを優先選択するデコーディング手法。top-p/top-kより自然な文章生成が可能で、繰り返しや意味のないトークン選択を抑制する。
LLM・画像生成・音声認識をOpenAI API互換インターフェースでセルフホストするためのオープンソースサーバー。GPUなしCPUのみでも動作し、単一エンドポイントで複数AIモダリティを統合提供できる。
2023年Ettore Di Giacinto (Itlyイタリア発・元SUSE Senior Engineer) 発表のLocalAI・OSS OpenAI API互換 Self-Host LLM platform。MIT License・GitHub Star 25k+ (2024年Q4・OSS Self-Host LLM最大級)・Go実装・Docker Compose一発デプロイ・llama.cpp / vLLM / Whisper / Stable Diffusion / TTS統合・Function Calling + Tool use + Vision + Audio + Image gen + Embedding 全Endpoint対応・OpenAI Python/JS SDK 完全互換 (drop-in replacement) で Self-Host AI Stack の業界標準OSS。
Local LLM実行スタック。Ollama 0.5+ (Go・OpenAI互換)・LM Studio 0.3.10+ (GUI・MLX)・Jan 0.5 OSS Desktop・GPT4All 3.x・llama.cpp b4400+ (CUDA/Metal/Vulkan/CPU)・llamafile (Mozilla)・vLLM 0.7 (推論サーバ)・SGLang・Text Generation WebUI (Oobabooga)・KoboldCPP・msty.app・¥0 OSS、2026年70B Q4家庭普及。
ローカル環境での大規模言語モデル処理。プライバシー保護とレスポンス向上
Local Image Generation Workflow。GPU要件: VRAM 12GB+ (SDXL min)/16GB(Flux Dev)/24GB+(Flux Pro/Multi-LoRA)・RTX 3090 24GB(Best Value)/RTX 4090 24GB/RTX 5090 32GB・ComfyUI(Node Workflow・OS-agnostic)・Flux.1 Dev FP8/Q8(VRAM 16GB ok)・SD 3.5 Large GGUF Q4(VRAM 8GB)・Forge(Auto1111 fork・高速)・SwarmUI Web UI・LoRA training: Kohya_ss Web UI・OneTrainer・15-30 image data + 4 hour 4090 train・Civitai model hub(検閲注意)・2026年 Flux + Civitai LoRA定番、画像生成 Mac mini 16GB unable。
トークンの位置情報を回転行列（Rotation Matrix）として表現する相対位置エンコーディング手法。Query・Keyベクトルに回転変換を適用することで、内積計算時に自然と相対位置情報が反映される。LLaMA・Qwen・Gemmaなど現代の主要LLMで標準採用されている。
アテンション計算でQueryとKeyベクトルを回転行列で変換することで相対位置情報を直接エンコードする位置エンベディング手法。絶対位置埋め込みより長距離依存を捉えやすく、学習時より長いコンテキストへの外挿性が高い。
Rotary Position Embedding(Su et al. 2021)・LLM位置エンコーディング。Llama/Mistral/Qwen/Yi/DeepSeek/Gemma/Command-R採用、Linear RoPE・NTK-Aware RoPE・YaRN・LongRoPE(Microsoft)・NTK-by-parts派生、Long Context対応+absolute→relative position transform、2026年LLMアーキ標準。
Transformer モデルの位置情報を回転行列で表現する手法。相対位置を内積の回転角としてエンコードすることで、訓練時より長いシーケンスへの外挿（extrapolation）を可能にする。Llama・Qwen・Mistral 等の主要オープンソースLLMで標準採用されている。
クエリとキーのベクトルを回転行列で変換することで、内積計算時に相対位置情報を自然にエンコードする位置埋め込み手法。追加パラメータ不要で外挿性に優れ、2024-2026年のLLMで最も広く採用されている。
Transformer系LLMでトークンの位置情報を相対的な回転行列として埋め込む手法。RoPE（Rotary Position Embedding）を基盤に、YaRN・ALiBi・NTK-awareスケーリングなどの拡張技術により、学習時のコンテキスト長を超えた外挿（extrapolation）を可能にする。ロングコンテキスト実現の中核技術。