ReFT（表現ファインチューニング）（リフト）

ReFT（表現ファインチューニング）

ReFT（Representation Fine-Tuning）は2024年にStanford大学のWu・Hu・Pfeifferら（Peng Fei氏グループ）が発表したPEFT手法の新パラダイムです。従来手法がモデルの「重み」を更新するのに対し、ReFTは「推論中の表現（隠れ状態）」に介入します。

根本的な発想の違い

従来のPEFT（LoRA等）:

• モデルの重み行列に低ランク更新を加算
• 学習後は重みが永続的に変更される
• 「重み空間」での最適化

ReFT:

• フォワードパス中の特定層・特定位置の隠れ表現に介入演算子を適用
• ベースモデルの重みは完全に固定
• 「表現空間」での最適化

介入演算子の数学的定式

ReFTの介入は R(h) = h + R^T (W h + b) と表現されます。ここで:

• h: 元の隠れ表現ベクトル
• R: 直交低ランク射影行列（d×r, r≪d）
• W: 介入変換行列（r×d）
• b: バイアスベクトル

これを線形部分空間への射影に限定したものがLoReFT（Low-rank Linear Subspace ReFT）です。

LoReFTの実装詳細

LoReFTでは各Transformer層の特定位置（例: すべての入力位置または最終トークンのみ）に対して介入を適用します。介入のハイパーパラメータ:

• r（ランク数）: 介入の表現容量（4〜32が一般的）
• 適用層: どの層に介入するか（偶数層のみ等）
• 適用位置: シーケンス内のどのトークン位置に介入するか

性能比較

GLUEベンチマーク（Llama-2-7B）でのLoReFT:

• LoRA（r=16）比で学習可能パラメータを15〜65%削減
• 平均精度でLoRAを0.5〜1.5%超過
• コモンセンス推論タスク（HellaSwag、WinoGrande等）で特に有効

応用と実装

• pyreft: 公式Pythonライブラリ（HuggingFaceモデルと統合）
• 対応モデル: Llama、Mistral、GPT-2、RoBERTa等
• タスク対応: 分類・生成・推論・インストラクションチューニング

理論的意義

ReFTは「モデルがどのように情報を表現するか」を直接操作するアプローチとして、解釈可能性（Interpretability）研究とも連動します。介入がどの概念に対応するかを分析することで、モデルの内部表現の理解にも貢献します。