SLERP重み補間（エスエルイーアールピーオモミホカン）

SLERP重み補間とは

SLERP（Spherical Linear Interpolation）は、LLMの重みテンソルを球面上の点として扱い、2つのモデル間を等速で補間するマージ手法。通常の線形補間（LERP）では w = (1-t)·w₁ + t·w₂ と計算するが、これはベクトルの「ノルム（大きさ）」が縮小するという問題がある。

LERPとSLERPの違い

SLERPの数式：

SLERP(w₁, w₂, t) = sin((1-t)θ)/sin(θ) · w₁ + sin(tθ)/sin(θ) · w₂
θ = arccos(w₁·w₂ / (|w₁|·|w₂|))

なぜLLMマージにSLERPが有効か

LLMの重みは高次元空間の点として解釈できる。ファインチューニングによって元モデルから「方向」だけが変化し「大きさ」はほぼ保たれるため、方向を正確に補間するSLERPが適している。MergeKitの実験では同一ベースモデルから派生したモデル同士のSLERPマージで、どちらかの能力を平均以上に維持できるケースが多く報告されている。

MergeKitでの設定例

# mergekit_config.yml
merge_method: slerp
base_model: mistralai/Mistral-7B-v0.1
models:
  - model: mistralai/Mistral-7B-v0.1
  - model: meta-llama/Meta-Llama-3-8B-Instruct
parameters:
  t: 0.5   # 補間係数 (0=base寄り, 1=second model寄り)
dtype: bfloat16

実用的なポイント

同一ベースモデルが原則: アーキテクチャが異なるモデルのSLERPは一般にうまく機能しない。Mistral-7BとLlama-3-8Bのように構造が近い場合は成功事例がある。

層ごとの補間係数: MergeKitは層ごとに異なるtを指定できるため、前半層はbase寄り・後半層はinstruct寄り、のような細かい調整が可能。

評価指標: SLERPマージ後はMMLU、HellaSwag、TruthfulQAなどのベンチマークで両親モデルと比較するのが標準的。