Flora 低ランクファインチューニングとは？（フローラテイランクファインチューニング）意味・特徴をわかりやすく解説

Flora 低ランクファインチューニング（フローラテイランクファインチューニング）

LLMのフルファインチューニングをランダム射影で低ランク勾配更新に変換するメモリ効率化手法。Han et al. 2024提案。LoRAと異なりウェイト行列の構造を変えず、オプティマイザ状態のメモリを削減しながらフルFTに近い精度を達成する。

0 回閲覧

0 いいね

2026/6/6 更新

Flora 低ランクファインチューニング

Flora（Full-Rank Low-Rank Adaptation）は、2024年にHan et al.が提案したLLMファインチューニングのメモリ効率化手法。LoRAとは異なるアプローチで、ウェイト行列自体は低ランク化せずにオプティマイザ状態を圧縮することでGPUメモリを削減する。

Adamオプティマイザはウェイトごとに2つの状態（1次モーメント m・2次モーメント v）を保持する。大規模LLMでこれはウェイト自体の2倍のメモリを消費する：

LLaMA-2 70B フルFTのメモリ要件:
- ウェイト: 140GB (FP16)
- Adamオプティマイザ状態: 280GB (FP32)
- 合計: 420GB以上

FloraはAdamのオプティマイザ状態をランダム射影で低ランク近似：

Floraは「フルファインチューニングに近い精度を保ちながらGPUメモリを削減したい」場合の選択肢。LoRAより精度が高い分、メモリ削減効率はLoRAほど極端ではないが、精度とメモリのバランスが優秀。