VeRA ランダム射影ファインチューニング（ベラランダムシャエイファインチューニング）

VeRA ランダム射影ファインチューニング

VeRA（Vector-based Random Matrix Adaptation）は、2024年にKopiczko et al.が提案したLoRAの拡張PEFT手法。LoRAよりも大幅に少ないパラメータ数でファインチューニングを実現する。

LoRAとVeRAの構造比較

LoRA: 各レイヤーに独自のA(r×d_in), B(d_out×r)行列を学習

VeRA: 全レイヤー共通のランダム凍結行列A, B（初期化後に固定）。各レイヤーはスケーリングベクトル d(r次元), b(d_out次元)のみ学習

パラメータ数の比較（LLaMA-2 7B, rank=4）

ランダム行列が共有できる理由

VeRAの核心的な発見：「ランダム行列を全レイヤーで共有しても、各レイヤーのスケーリングベクトルで十分な表現力を保持できる」。スケーリングベクトルdとbが各レイヤーの特性を吸収することで、ランダム行列の共有による情報損失を補う。

実用上のメリット

1. メモリ効率: 極少数のパラメータをGPUメモリに保持
2. 通信効率: 分散学習での勾配通信量を大幅削減
3. ストレージ: アダプタファイルサイズが極小（数KB〜数十KB）

まとめ

VeRAはLoRAの「パラメータをさらに削減したい」というニーズに応える。エッジデバイスデプロイや大量の専用アダプタを管理するシステムで特に有効。