AI・機械学習

LLMの位置エンコーディング手法RoPE(Rotary Position Embedding)を拡張し、学習時より長いコンテキストを処理できるようにする技術。YaRN・LongRoPE・DynamicNTKなどの派生手法が存在する。

Rotary Position Embedding（RoPE）の周波数を調整し、事前学習時より長いコンテキストウィンドウを実現する手法の総称。線形スケーリング・NTK-awareスケーリング等の派生が存在する。

2024年発表RoPE-based Extrapolation・Industry-leading RoPE extrapolation methods + Industry-leading LongRoPE + Industry-leading SelfExtend + Industry-leading CLEX + Industry-leading 2M context RoPE extrapolation。

RoPEのθ（theta）基底値を拡大することで追加学習なしにコンテキスト長を延ばす最もシンプルな手法。Llama 3ではθ=500,000を採用し、500kトークン超えのコンテキストを目指した事前学習を実施している。

ROME（Rank-One Model Editing）とは、LLM の MLP 層に格納された事実知識を Causal Tracing で特定し、ランク1更新で重みを直接書き換える知識編集手法である。2022年に MIT の Meng らが提案し、Knowledge Editing 分野の基盤技術となった。

LLMの特定の事実を局所的に書き換える知識編集手法。勾配を使わずRank-One行列更新でFF層の重みを直接変更し、副作用を最小化する。

Low-Rank Adaptation の略。LLM の全パラメータを更新せず、低ランク行列の積を注入して効率的にファインチューニングする手法。学習パラメータ数を 99% 以上削減しながら同等の性能を実現する。

Low-Rank Adaptation・低ランク適応ファインチューニング(Hu et al. 2021)。QLoRA・DoRA・LoRA+・rsLoRA派生、画像Stable Diffusion LoRA(Kohya-ss・OneTrainer・AI Toolkit)・LLM LoRA(Unsloth・Axolotl・PEFT)が2026年代表、GPU VRAM 8-24GBで訓練可、merge/swap実行時併用。

2021年Hu et al. + Microsoft発表LoRA paper・Industry-leading Low-Rank Adaptation PEFT paradigm Pioneer + Industry-leading 全LLM PEFT industry-standard + Industry-leading 3年heritage LoRA Pioneer foundation。

事前学習済みモデルの重みを凍結したまま、低ランク行列（Low-Rank）のみを学習させるパラメータ効率の高い微調整手法。計算リソースとメモリ消費量を劇的に削減しつつ、高性能な適応を実現する。

2024年成熟LoRA・Industry-leading Low-Rank Adaptation parameter-efficient fine-tuning + Industry-leading low-rank matrix decomposition + Industry-leading 10,000x parameter reduction + Industry-leading Microsoft Research LoRA MIT parameter-efficient fine-tuning method 2024。

大規模言語モデルのファインチューニングを低コストで実現するパラメータ効率的手法。元のモデル重みを凍結し、低ランク行列の積（A×B）を各層に追加して学習する。学習パラメータ数を全体の0.1〜1%に抑えつつ、フルファインチューニングに匹敵する性能を達成。Microsoft Researchが2021年に発表。

大規模言語モデルのファインチューニングにおいて、元のモデルパラメータを凍結したまま低ランク行列を注入して追加学習する手法。Microsoftが2021年に提案し、VRAM使用量と学習時間を大幅に削減しながら高い精度を維持する。

大規模言語モデルを効率的にファインチューニングする手法。重み行列を低ランク行列の積で近似し、元のパラメータを固定したまま少数のアダプタ重みのみ更新する。

LLMのファインチューニングを少数の追加パラメータで実現するPEFT手法。元の重み行列を凍結し、低ランク行列ΔW=BA（B∈R^{d×r}, A∈R^{r×k}, r≪d）を追加することでGPUメモリを大幅に削減する。

Low-Rank Adaptation（LoRA）のアダプタをタスクごとに分離して管理し、推論時に動的に切替・合成することで破壊的忘却をほぼ完全に回避する継続学習手法。ベースモデルの重みを凍結しタスク別のパラメータ効率的な差分のみを学習するため、計算コストとメモリ使用量が極めて低い。

LLM低ランク適応訓練。LoRA(Microsoft・Low-Rank Adaptation・ΔW=BA)・QLoRA(4-bit quantize + LoRA・Tim Dettmers)・DoRA(Weight Decomposed)・GaLore・OLoRA・PEFT library(HuggingFace)・Unsloth(2-5x高速)・Axolotl・LLaMA-Factory・TRL・OpenPipe対応、2026年Consumer GPU(RTX 5090 32GB)で70B Fine-tune可能。

LLM低コストファインチューン。LoRA(Low-Rank Adaptation・2021年・rank 8-64)・QLoRA(4-bit NF4 + LoRA・consumer GPU 24GB でLlama 65B学習)・DoRA(Weight-Decomposed・2024年)・VeRA(Vector-based・Minimal param)・GaLore(Gradient Low-rank・full fine-tune)・Galore-bit・Unsloth(2-5x高速)・Axolotl YAML config・Hugging Face PEFT・TRL library対応、2026年コンシューマGPU学習定着。

Low-Rank Adaptation（LoRA）を活用した継続学習手法。新タスクごとに軽量なLoRAアダプタモジュールを追加することで、ベースモデルのパラメータを保護しながら新知識を段階的に学習する。壊滅的忘却を構造的に防ぐアーキテクチャ設計。

LoRAのA/B行列に異なる学習率を設定する改良手法。B行列をA行列より大幅に高い学習率（デフォルト16倍）で学習することで収束速度と精度を向上させる。Hayou et al. 2024提案。