Prompt Tuning（プロンプトチューニング）

Prompt Tuning（ソフトプロンプト）とは

Prompt Tuning は Lester et al.（Google Research）が 2021年に発表した Parameter-Efficient Fine-Tuning 手法。モデル本体の重みを完全に凍結したまま、入力シーケンスの先頭に追加する「ソフトプロンプトトークン」の埋め込みベクトルのみを学習する。

仕組み

通常の推論では入力テキストをトークナイズして埋め込み行列で変換するが、Prompt Tuning ではこの前に k 個のソフトプロンプトベクトルを付加する。p1〜pk は語彙に対応しない連続埋め込みベクトル（任意の値）で、バックプロパゲーションで p1〜pk のみ更新し、全モデルパラメータは凍結。k は通常 20〜100 程度（論文では 100 で最良）。

スケールと精度

モデルが大きいほど効果が高い点が論文の重要な発見。T5-Small (60M) では full FT と 10pt 以上差があるが、T5-Large (770M) で 3〜5pt 差に縮まり、T5-XXL (11B) では SuperGLUE でほぼ同等の精度に達する。11B 以上では few-shot プロンプトエンジニアリングを大幅に上回る。

利点

• 追加パラメータが極めて少ない（k × d_model のみ）
• タスク切替がプロンプトベクトルの差替だけで完了
• サービング時に同一モデル重みを共有、タスク別にソフトプロンプトだけ持てばよい
• 11B 以上では full FT に匹敵

制限

• 11B 未満のモデルでは精度が低下
• 入力長を k トークン消費するため最大系列長が縮む
• P-Tuning v2 や LoRA の登場後は相対的な地位が下がった

ハードプロンプトとの違い

ハードプロンプトは人間が手動で作成した自然言語テキスト。ソフトプロンプトは語彙に対応しない連続埋め込みベクトルで、勾配で自動最適化される。解釈可能性は低いが精度は一般的に高い。

まとめ

Prompt Tuning は最軽量の PEFT 手法として、特に 10B 超の大規模モデルを複数タスクで共有サービングする場面に強みを持つ。PEFT の歴史的発展（Adapter → P-Tuning → Prefix Tuning → Prompt Tuning → LoRA → IA³）における重要な段階の一つ。