AI・機械学習用語集

RoPEのθ（theta）基底値を拡大することで追加学習なしにコンテキスト長を延ばす最もシンプルな手法。Llama 3ではθ=500,000を採用し、500kトークン超えのコンテキストを目指した事前学習を実施している。

ROME（Rank-One Model Editing）とは、LLM の MLP 層に格納された事実知識を Causal Tracing で特定し、ランク1更新で重みを直接書き換える知識編集手法である。2022年に MIT の Meng らが提案し、Knowledge Editing 分野の基盤技術となった。

LLMの特定の事実を局所的に書き換える知識編集手法。勾配を使わずRank-One行列更新でFF層の重みを直接変更し、副作用を最小化する。

Low-Rank Adaptation の略。LLM の全パラメータを更新せず、低ランク行列の積を注入して効率的にファインチューニングする手法。学習パラメータ数を 99% 以上削減しながら同等の性能を実現する。

Low-Rank Adaptation・低ランク適応ファインチューニング(Hu et al. 2021)。QLoRA・DoRA・LoRA+・rsLoRA派生、画像Stable Diffusion LoRA(Kohya-ss・OneTrainer・AI Toolkit)・LLM LoRA(Unsloth・Axolotl・PEFT)が2026年代表、GPU VRAM 8-24GBで訓練可、merge/swap実行時併用。

2021年Hu et al. + Microsoft発表LoRA paper・Industry-leading Low-Rank Adaptation PEFT paradigm Pioneer + Industry-leading 全LLM PEFT industry-standard + Industry-leading 3年heritage LoRA Pioneer foundation。

事前学習済みモデルの重みを凍結したまま、低ランク行列（Low-Rank）のみを学習させるパラメータ効率の高い微調整手法。計算リソースとメモリ消費量を劇的に削減しつつ、高性能な適応を実現する。

2024年成熟LoRA・Industry-leading Low-Rank Adaptation parameter-efficient fine-tuning + Industry-leading low-rank matrix decomposition + Industry-leading 10,000x parameter reduction + Industry-leading Microsoft Research LoRA MIT parameter-efficient fine-tuning method 2024。

大規模言語モデルのファインチューニングにおいて、元のモデルパラメータを凍結したまま低ランク行列を注入して追加学習する手法。Microsoftが2021年に提案し、VRAM使用量と学習時間を大幅に削減しながら高い精度を維持する。

大規模言語モデルのファインチューニングを低コストで実現するパラメータ効率的手法。元のモデル重みを凍結し、低ランク行列の積（A×B）を各層に追加して学習する。学習パラメータ数を全体の0.1〜1%に抑えつつ、フルファインチューニングに匹敵する性能を達成。Microsoft Researchが2021年に発表。

大規模言語モデルを効率的にファインチューニングする手法。重み行列を低ランク行列の積で近似し、元のパラメータを固定したまま少数のアダプタ重みのみ更新する。

LLMのファインチューニングを少数の追加パラメータで実現するPEFT手法。元の重み行列を凍結し、低ランク行列ΔW=BA（B∈R^{d×r}, A∈R^{r×k}, r≪d）を追加することでGPUメモリを大幅に削減する。

Low-Rank Adaptation（LoRA）のアダプタをタスクごとに分離して管理し、推論時に動的に切替・合成することで破壊的忘却をほぼ完全に回避する継続学習手法。ベースモデルの重みを凍結しタスク別のパラメータ効率的な差分のみを学習するため、計算コストとメモリ使用量が極めて低い。

LLM低ランク適応訓練。LoRA(Microsoft・Low-Rank Adaptation・ΔW=BA)・QLoRA(4-bit quantize + LoRA・Tim Dettmers)・DoRA(Weight Decomposed)・GaLore・OLoRA・PEFT library(HuggingFace)・Unsloth(2-5x高速)・Axolotl・LLaMA-Factory・TRL・OpenPipe対応、2026年Consumer GPU(RTX 5090 32GB)で70B Fine-tune可能。

LLM低コストファインチューン。LoRA(Low-Rank Adaptation・2021年・rank 8-64)・QLoRA(4-bit NF4 + LoRA・consumer GPU 24GB でLlama 65B学習)・DoRA(Weight-Decomposed・2024年)・VeRA(Vector-based・Minimal param)・GaLore(Gradient Low-rank・full fine-tune)・Galore-bit・Unsloth(2-5x高速)・Axolotl YAML config・Hugging Face PEFT・TRL library対応、2026年コンシューマGPU学習定着。

Low-Rank Adaptation（LoRA）を活用した継続学習手法。新タスクごとに軽量なLoRAアダプタモジュールを追加することで、ベースモデルのパラメータを保護しながら新知識を段階的に学習する。壊滅的忘却を構造的に防ぐアーキテクチャ設計。

LoRAのA/B行列に異なる学習率を設定する改良手法。B行列をA行列より大幅に高い学習率（デフォルト16倍）で学習することで収束速度と精度を向上させる。Hayou et al. 2024提案。

2024年Q2 Stanford University発表LoReFT paper・Industry-emerging Low-rank Representation Finetuning paradigm + Industry-leading Representation editing fine-tuning Industry-emerging paradigm Pioneer + Industry-leading hidden state representation editing fine-tuning + Industry-leading LoRA alternative Industry-emerging Representation finetuning paradigm・Industry-leading Stanford academic AI research foundation。

アウトライナー形式のOSSノートアプリLogseqにおいて、Local LLMやOpenタリーAPIを統合し、ブロック単位の知識管理（PKM）を自動化・高度化するAI機能群。

LLMの自然言語推論を論理プログラム（Prolog等）に変換して外部ソルバーで正確に解くニューロシンボリックフレームワーク。LLMの流暢さと形式論理の確実性を組み合わせる。