DARE（Drop And REscale）とは？（デアドロップアンドリスケール）意味・特徴をわかりやすく解説

DARE（Drop And REscale）（デアドロップアンドリスケール）

2023年提案のLLMマージ前処理手法。ファインチューニング差分ベクトルのパラメータをランダムにドロップ（ゼロ化）し、残ったパラメータを1/p倍にリスケールすることで干渉を減らしてからマージする。

0 回閲覧

0 いいね

2026/6/8 更新

DARE（Drop And REscale）とは

DAREはモデルマージの「前処理」として使われるスパース化手法。ファインチューニング済みモデルの差分ベクトル τ = θ_ft - θ_base をランダムドロップでスパースにし、TIESやSLERPと組み合わせてより良いマージを実現する。

アルゴリズム

入力: τ（差分ベクトル）, p（保持確率）

1. 各パラメータをベルヌーイ確率pでマスク生成
   m_i ~ Bernoulli(p)   (m_i=1: 保持, m_i=0: ドロップ)

2. スパース差分ベクトルを計算
   τ_dare_i = m_i * τ_i / p   (1/pでリスケール)

3. τ_dare を TIES/SLERP等でマージ

なぜリスケールが必要か

ランダムドロップだけではτのL2ノルムが縮小してしまう。1/p でリスケールすることでノルムの期待値を維持し、元の差分ベクトルの統計的特性を保持する（モンテカルロサンプリングの補正と同じ原理）。

TIESとの組み合わせ（DARE+TIES）

# MergeKit設定例
merge_method: dare_ties
base_model: meta-llama/Llama-3.1-8B
models:
  - model: llama-3-8b-coding-finetuned
    parameters:
      density: 0.53   # DARE保持確率p
      weight: 1.0
  - model: llama-3-8b-math-finetuned
    parameters:
      density: 0.53
      weight: 1.0
parameters:
  normalize: true
dtype: bfloat16

推奨density値

モデルサイズ	推奨density
7B	0.5〜0.6
13B	0.4〜0.5
70B	0.3〜0.4

実験結果（論文より）

Yu et al.はWizardLM、WizardMath、Code LlamaをDAREでスパース化してマージした実験で、単純TIES比べてCommonsense Reasoningを約2%改善。特に「スキルが非重複」なモデル同士のマージで効果的。

MergeKitサポートメソッド

dare_linear: DARE + 線形補間
dare_ties: DARE + TIES-Merging（最も推奨）