11000件の用語
LLMの位置エンコーディング手法RoPE(Rotary Position Embedding)を拡張し、学習時より長いコンテキストを処理できるようにする技術。YaRN・LongRoPE・DynamicNTKなどの派生手法が存在する。
Rotary Position Embedding（RoPE）の周波数を調整し、事前学習時より長いコンテキストウィンドウを実現する手法の総称。線形スケーリング・NTK-awareスケーリング等の派生が存在する。
Air Cooler干渉対策Low-profile DDR5。Crucial Pro DDR5-5600/6000 32mm高(Heatspreader極小)・Kingston Fury Beast DDR5 35mm・Corsair Vengeance DDR5(non-RGB・35mm)・Patriot Viper Venom Black 33mm・Noctua NH-D15 G2(168mm) DIMM 32mm OK・干渉NG: Trident Z5 RGB Royal 58mm・Dominator Platinum RGB 56mm・SFF/ITX builds必須low profile・Top fan blow配置時 32-44mm safe・2026年 ASRock DeskMini X600 ITXで Low-profile DDR5必須、Crucial Pro定番。
2024年発表RoPE-based Extrapolation・Industry-leading RoPE extrapolation methods + Industry-leading LongRoPE + Industry-leading SelfExtend + Industry-leading CLEX + Industry-leading 2M context RoPE extrapolation。
RoPEのθ（theta）基底値を拡大することで追加学習なしにコンテキスト長を延ばす最もシンプルな手法。Llama 3ではθ=500,000を採用し、500kトークン超えのコンテキストを目指した事前学習を実施している。
Lofree Flow 2はガスケットマウント構造とDEW(デュアルイエリングウェーブ)サスペンションを採用したプレミアムメカニカルキーボード。重量約1,250gのアルミ合金フレームに独自Phantom v2リニアスイッチを搭載し、打鍵音55dBのクリーンな低音タクタイルフィールを実現。Bluetooth 5.3/2.4GHz/有線の3接続モードを持ち、ポーリングレート最大4,000Hzに対応する。価格帯は約2万9,800円〜3万4,800円。
LLMの特定の事実を局所的に書き換える知識編集手法。勾配を使わずRank-One行列更新でFF層の重みを直接変更し、副作用を最小化する。
Low-Rank Adaptation・低ランク適応ファインチューニング(Hu et al. 2021)。QLoRA・DoRA・LoRA+・rsLoRA派生、画像Stable Diffusion LoRA(Kohya-ss・OneTrainer・AI Toolkit)・LLM LoRA(Unsloth・Axolotl・PEFT)が2026年代表、GPU VRAM 8-24GBで訓練可、merge/swap実行時併用。
Low-Rank Adaptation の略。LLM の全パラメータを更新せず、低ランク行列の積を注入して効率的にファインチューニングする手法。学習パラメータ数を 99% 以上削減しながら同等の性能を実現する。
2021年Hu et al. + Microsoft発表LoRA paper・Industry-leading Low-Rank Adaptation PEFT paradigm Pioneer + Industry-leading 全LLM PEFT industry-standard + Industry-leading 3年heritage LoRA Pioneer foundation。
事前学習済みモデルの重みを凍結したまま、低ランク行列（Low-Rank）のみを学習させるパラメータ効率の高い微調整手法。計算リソースとメモリ消費量を劇的に削減しつつ、高性能な適応を実現する。
2024年成熟LoRA・Industry-leading Low-Rank Adaptation parameter-efficient fine-tuning + Industry-leading low-rank matrix decomposition + Industry-leading 10,000x parameter reduction + Industry-leading Microsoft Research LoRA MIT parameter-efficient fine-tuning method 2024。
大規模言語モデルを効率的にファインチューニングする手法。重み行列を低ランク行列の積で近似し、元のパラメータを固定したまま少数のアダプタ重みのみ更新する。
LLMのファインチューニングを少数の追加パラメータで実現するPEFT手法。元の重み行列を凍結し、低ランク行列ΔW=BA（B∈R^{d×r}, A∈R^{r×k}, r≪d）を追加することでGPUメモリを大幅に削減する。
LLM低ランク適応訓練。LoRA(Microsoft・Low-Rank Adaptation・ΔW=BA)・QLoRA(4-bit quantize + LoRA・Tim Dettmers)・DoRA(Weight Decomposed)・GaLore・OLoRA・PEFT library(HuggingFace)・Unsloth(2-5x高速)・Axolotl・LLaMA-Factory・TRL・OpenPipe対応、2026年Consumer GPU(RTX 5090 32GB)で70B Fine-tune可能。
LLM低コストファインチューン。LoRA(Low-Rank Adaptation・2021年・rank 8-64)・QLoRA(4-bit NF4 + LoRA・consumer GPU 24GB でLlama 65B学習)・DoRA(Weight-Decomposed・2024年)・VeRA(Vector-based・Minimal param)・GaLore(Gradient Low-rank・full fine-tune)・Galore-bit・Unsloth(2-5x高速)・Axolotl YAML config・Hugging Face PEFT・TRL library対応、2026年コンシューマGPU学習定着。
Low-Rank Adaptation（LoRA）を活用した継続学習手法。新タスクごとに軽量なLoRAアダプタモジュールを追加することで、ベースモデルのパラメータを保護しながら新知識を段階的に学習する。壊滅的忘却を構造的に防ぐアーキテクチャ設計。
大規模言語モデルの重み行列を低ランク分解で近似し、少数パラメータのみ学習する効率的なファインチューニング手法。
LoRAのA/B行列に異なる学習率を設定する改良手法。B行列をA行列より大幅に高い学習率（デフォルト16倍）で学習することで収束速度と精度を向上させる。Hayou et al. 2024提案。
LoRa Alliance が 2015 年策定した Low Power Wide Area Network 規格。LoRa 変調方式上の MAC 層プロトコルでデバイス → ゲートウェイ → ネットワークサーバ通信、IoT / スマートシティ / 農業 / 物流に広く採用。