AI・機械学習
上級
Prompt Tuning vs LoRA（プロンプトチューニング バーサス ローラ）
LLM のパラメータ効率的ファインチューニング（PEFT）における 2 大手法の比較。Prompt Tuning は入力に Soft Prompt を追加する手法、LoRA は重み行列に低ランク分解の差分を追加する手法。タスク特性・モデルサイズ・運用要件に応じた使い分けが重要。
0 回閲覧
0 いいね
Prompt Tuning vs LoRA — PEFT 2 大手法の徹底比較
Prompt Tuning と LoRA（Low-Rank Adaptation）は、2026 年現在の LLM ファインチューニングにおけるパラメータ効率的手法（PEFT）の 2 大潮流である。両者はアプローチが根本的に異なるため、タスク・モデル規模・運用環境に応じた使い分けが性能とコストを大きく左右する。
概要比較
| 項目 | Prompt Tuning | LoRA |
|---|---|---|
| 提案年 | 2021（Google） | 2021（Microsoft） |
| 介入位置 | 入力 embedding（Soft Prompt 追加） | 重み行列（低ランク差分追加） |
| 学習パラメータ数 | k × d（数万〜数十万） | r × d × 2 × L_target（数百万〜数千万） |
| パラメータ比率（8B モデル） | 0.001〜0.01% | 0.1〜1% |
| 推論オーバーヘッド | 入力長 +k トークン分 | マージ後はゼロ |
| タスク切替 | Soft Prompt 差替のみ | Adapter マージ/アンマージ |
| マルチテナント | 非常に得意 | Adapter 管理が必要 |
| 小規模モデル性能 | 低い（3B 未満で顕著） | 高い（330M から有効） |
性能比較（主要ベンチマーク）
分類タスク
| モデル | タスク | Full FT | Prompt Tuning | LoRA (r=8) |
|---|---|---|---|---|
| RoBERTa-Large | SST-2 | 95.6% | 92.1% | 95.2% |
| Llama 3.1-8B | SST-2 | 96.1% | 94.8% | 95.9% |
| Llama 3.1-70B | SST-2 | 96.8% | 96.5% | 96.7% |
生成タスク
| モデル | タスク | Full FT | Prompt Tuning | LoRA (r=16) |
|---|---|---|---|---|
| GPT-2 Medium | E2E NLG | 68.2 BLEU | 64.1 BLEU | 67.5 BLEU |
| Llama 3.1-8B | 要約 | 43.2 R-L | 40.8 R-L | 42.9 R-L |
| Llama 3.1-70B | 要約 | 45.1 R-L | 44.7 R-L | 45.0 R-L |
傾向の要約
- 小〜中規模モデル（〜13B）：LoRA が圧倒的に有利。Prompt Tuning はフル FT との差が大きい
- 大規模モデル（70B〜）：両者の差は縮小。運用要件で選択
- 生成タスク：LoRA がやや有利だが、Prefix Tuning/P-Tuning v2 で差は縮まる
運用コスト比較
学習コスト
| 項目 | Prompt Tuning | LoRA (r=8) | Full FT |
|---|---|---|---|
| 8B モデル VRAM | 18GB | 22GB | 160GB+ |
| 学習速度（相対） | 1.0x | 0.85x | 0.3x |
| 1 epoch 時間（8B, 10K samples） | 15 min | 20 min | 3 hours |
| GPU 要件 | RTX 4090 × 1 | RTX 4090 × 1 | A100 80GB × 4 |
推論コスト
- Prompt Tuning：入力に Soft Prompt トークンが追加されるため、レイテンシが 2〜10ms 増加。入力が長いタスクでは影響大
- LoRA：学習後に重みをマージすれば推論オーバーヘッドはゼロ。マージ不要の場合も Adapter の追加計算は微小
タスク切替コスト
- Prompt Tuning：Soft Prompt ファイル（数百 KB）を差し替えるだけ。サブミリ秒で切替完了
- LoRA：Adapter のロード/アンロードが必要。vLLM の Multi-LoRA 機能で同時複数 Adapter を保持可能だが、メモリを消費
2025〜2026 年のトレンド
LoRA 系の進化
- QLoRA（2023）：4bit 量子化 + LoRA で A100 1 枚で 65B モデルの学習が可能に
- DoRA（2024）：重みの方向と大きさを分離して学習、LoRA より安定
- LoRA+（2024）：A/B 行列に異なる学習率を適用して収束改善
- rsLoRA（2024）：ランクに応じた学習率スケーリング
Prompt Tuning 系の進化
- Multitask Prompt Tuning：共有 Prompt + タスク固有 Prompt の 2 段構成
- Residual Prompt Tuning：残差接続で学習安定化
- Late Prompt Tuning：後半の層にのみ Soft Prompt を挿入
ハイブリッド手法
- LoRA + Prefix Tuning：両方を同時適用し、それぞれの利点を取る
- Prompt Tuning → LoRA 段階的移行：最初に Prompt Tuning で探索、有望な方向で LoRA を適用
使い分けガイドライン
| 条件 | 推奨手法 | 理由 |
|---|---|---|
| モデル 70B+、マルチテナント | Prompt Tuning | タスク切替の軽量さが圧倒的 |
| モデル 7B〜13B、単一タスク | LoRA (r=8〜16) | 安定した性能と低コスト |
| モデル 〜3B | LoRA (r=16〜32) | Prompt Tuning は性能不足 |
| GPU メモリ極小（8GB） | QLoRA | 4bit + LoRA で 7B 学習可能 |
| リアルタイム推論重視 | LoRA（マージ後） | 推論オーバーヘッドゼロ |
| 100 以上のタスクを同時管理 | Prompt Tuning | Adapter 管理コストが膨大になる |
よくある質問（FAQ）
Q1: LoRA と Prompt Tuning を同時に使えますか？ A: 使える。Hugging Face PEFT では複数の PEFT メソッドを組み合わせるマルチアダプター機能がある。ただし学習が複雑化するため、まず単体で十分な性能が出るか確認してからの併用を推奨。
Q2: コスト最小で最大性能を得る組み合わせは？ A: 2026 年現在の実務では QLoRA（4bit 量子化 + LoRA r=16）が最もコスト効率が高い。A100 1 枚で 70B モデルの学習が可能で、フルファインチューニングの 95% 以上の性能を達成できる。
Q3: 将来的にどちらが主流になりますか？ A: 2026 年時点では LoRA/QLoRA が実務の主流。しかし 1T パラメータ超のモデルが普及すれば、Prompt Tuning のパラメータ効率と切替容易性が再評価される可能性がある。両手法は共存し続ける。
まとめ
- Prompt Tuning は超軽量・マルチテナント向き、LoRA は高性能・汎用向き
- モデルサイズが大きいほど両者の性能差は縮小
- 2026 年の実務主流は QLoRA だが、用途に応じた使い分けが重要
- ハイブリッド手法や段階的移行も有効なアプローチ