LoRA（ローラ）
Low-Rank Adaptation・低ランク適応ファインチューニング(Hu et al. 2021)。QLoRA・DoRA・LoRA+・rsLoRA派生、画像Stable Diffusion LoRA(Kohya-ss・OneTrainer・AI Toolkit)・LLM LoRA(Unsloth・Axolotl・PEFT)が2026年代表、GPU VRAM 8-24GBで訓練可、merge/swap実行時併用。
概要
LoRA（Low‑Rank Adaptation）は、2021年にHuらが提唱した低ランク適応ファインチューニング手法で、既存の大規模言語モデル（LLM）や画像生成モデルに対し、パラメータ数を大幅に削減しつつ性能を維持できる点が特徴です。2026年現在、LoRA派生技術として QLoRA、DoRA、LoRA+、rsLoRA が登場し、GPU VRAM 8‑24GB での訓練が可能です。画像 Stable Diffusion では Kohya‑ss、OneTrainer、AI Toolkit が、LLM では Unsloth、Axolotl、PEFT が代表的に採用されています。LoRA は merge / swap 実行時に併用できるため、複数モデルの切り替えが高速に行えます。
主な特徴・仕組み
- 低ランク行列でパラメータ削減：重み行列を低ランク行列に分解し、追加パラメータを数百 MB 以内に抑える。
- GPU VRAM 節約：8‑24GB の VRAM で学習が可能。RTX 4090（24GB GDDR7）や RTX 3090（24GB GDDR6X）でも実行できる。
- 高速マージ：LoRA の重みはベースモデルに簡単に統合でき、推論時に追加オーバーヘッドがほぼゼロ。
- 柔軟な拡張：DoRA はデータ拡張を組み合わせ、QLoRA は量子化を併用してメモリ使用量をさらに削減。
- スワップ機能：複数 LoRA を同時にロードし、必要に応じてスワップすることで、1 台の GPU で複数タスクを同時実行可能。
スペック/製品比較表
| 手法 | 量子化 | 低ランク | VRAM 要件 | 代表ハードウェア | 主要用途 |
|---|---|---|---|---|---|
| LoRA | なし | 低 | 8‑24GB | RTX 4080 (16GB GDDR6X) | 画像生成 |
| QLoRA | 8‑bit | 低 | 4‑12GB | RTX 4090 (24GB GDDR7) | LLM 微調整 |
| DoRA | なし | 低 | 8‑24GB | RTX 3090 (24GB GDDR6X) | 画像＋テキスト |
| LoRA+ | 4‑bit | 低 | 2‑8GB | RTX 4070 (12GB GDDR6) | 軽量推論 |
具体例・対応製品
- 画像 Stable Diffusion
- Kohya‑ss の LoRA パック（512×512 解像度）
- OneTrainer の LoRA（768×768）
- AI Toolkit の LoRA（1024×1024）
- LLM 微調整
- Unsloth の LoRA（BERT ベース）
- Axolotl の LoRA（GPT‑NeoX）
- PEFT の LoRA（LLaMA‑2）
- ハードウェア
- RTX 5090（32GB GDDR7）で 24GB までの LoRA を同時ロード
- RTX 4090（24GB GDDR7）で QLoRA を 4‑bit 量子化
- RTX 3090（24GB GDDR6X）で DoRA を 8‑bit 量子化
- RTX 4080（16GB GDDR6X）で LoRA+ を 4‑bit 量子化
- RTX 4070（12GB GDDR6）で LoRA を 8‑bit 量子化
自作PCでの選び方・注意点
- GPU の VRAM を 24GB 以上にする。
- メモリ帯域幅 16‑20GB/s 以上を確保。
- 12GB GDDR6X 以上のカードを選択。
- 量子化を利用する場合は 8‑bit 以上のサポートが必要。
- 冷却性能を重視し、RTX 4090 など高消費電力カードはファン付きケースを採用。
- 電源容量は 850W 以上を推奨。
- 低レイテンシーの NVMe SSD を搭載し、データロードを高速化。
- BIOS で PCIe 5.0 x16 を有効化し、帯域幅を最大化。
- 32GB DDR5-6000 を搭載し、CPU のキャッシュを補完。
- 3DMark などでベンチマークを実施し、実際の推論速度を確認。
関連用語との違い
- PEFT（Parameter‑Efficient Fine‑Tuning）：LoRA を含む広義の手法で、パラメータ効率を重視。LoRA は PEFT の代表例。
- LoRA+：LoRA に 4‑bit 量子化を追加したバージョン。メモリ使用量をさらに削減。
- rsLoRA：LoRA の再構成版で、低ランク行列を再学習可能にする。
- DoRA：データ拡張 + LoRA の組み合わせ。画像タスクで高精度を実現。
- QLoRA：LoRA に 8‑bit 量子化を組み合わせ、VRAM を 4‑12GB に抑制。
よくある質問
Q1. LoRA はどの GPU で最も効果的ですか？
A1. RTX 4090（24GB GDDR7）や RTX 5090（32GB GDDR7）が、VRAM と帯域幅の両面で最適です。
Q2. LoRA と QLoRA の違いは何ですか？
A2. LoRA は低ランク行列のみを利用し、QLoRA は 8‑bit 量子化を併用してメモリをさらに削減します。
Q3. LoRA を複数同時にロードできますか？
A3. はい、merge / swap 機能により、複数 LoRA を同時にロードし、必要に応じて切り替え可能です。
まとめ
LoRA は 2026年において、GPU VRAM 8‑24GB での大規模モデル微調整を実現する代表的手法です。QLoRA、DoRA、LoRA+、rsLoRA といった派生技術は、量子化やデータ拡張を組み合わせることで、さらに効率的な学習を可能にしています。RTX 5090、RTX 4090、RTX 3090、RTX 4080、RTX 4070 などの最新 GPU を活用すれば、画像生成や LLM 微調整を高速かつ低コストで行えます。自作 PC で LoRA を導入する際は、VRAM 容量、メモリ帯域幅、冷却性能、電源容量を重点的に検討し、最適な構成を選択してください。次世代の AI 研究・開発において、LoRA は不可欠な技術として位置づけられています。