埋め込みモデルのファインチューニング（ウメコミモデルノファインチューニング）
埋め込みモデルのファインチューニングとは、汎用の事前学習済み埋め込みモデルを特定ドメイン（医療・法律・ECなど）のデータで追加学習し、そのドメインでのテキスト類似度や検索精度を大幅に向上させる手法で、対照学習・ハードネガティブマイニング・Matryoshka表現学習などの技術が用いられる。
埋め込みモデルのファインチューニングは、汎用モデルでは捉えきれないドメイン固有の意味関係を学習させるプロセスである。例えば医療分野では「心筋梗塞」と「MI（myocardial infarction）」が同義であることを、法律分野では「善意の第三者」と「bona fide purchaser」が等価であることを、モデルに明示的に学習させる。OpenAIのtext-embedding-3-largeでも、専門ドメインではファインチューニングしたオープンソースモデルに精度で劣るケースが多い。
ファインチューニングの基本フロー
1. 学習データの準備
- 正例ペア（Positive Pairs）: 意味的に類似する文のペア。検索ログ（クエリ→クリック文書）、FAQ（質問→回答）、パラフレーズなどから収集
- 負例（Negative Examples）: 意味的に非類似な文。ランダムサンプリングまたはハードネガティブマイニングで取得
- データ量の目安: 最低1,000ペア。高品質な5,000〜10,000ペアで汎用モデルを大幅に上回ることが多い
2. 損失関数の選択
- MultipleNegativesRankingLoss（MNRL）: 最も一般的。バッチ内の他のサンプルを自動的に負例として利用。追加の負例ラベルが不要
- CosineSimilarityLoss: 文ペアに類似度スコア（0〜1）が付与されている場合に使用
- TripletLoss: アンカー・正例・負例の三つ組で学習。マージンαでクラスター間の最小距離を制御
- Matryoshka Loss: 異なる次元数（256/512/768等）で同時に最適化。推論時に次元を削減しても精度が落ちにくい
3. ハードネガティブマイニング
- 概念: ランダムな負例は「東京タワー」と「量子力学」のように明らかに非類似で、モデルの学習に寄与しない。「東京タワー」と「東京スカイツリー」のような類似しているが非正解な文（ハードネガティブ）を負例にすることで、識別能力を大幅に向上させる
- 手法: 学習済みモデルで上位k件の検索結果を取得し、正解以外をハードネガティブとして利用
- 効果: MTEB検索タスクでRecall@10が平均5〜15%向上する（BGE論文より）
学習パラメータの推奨設定
| パラメータ | 推奨値 | 説明 |
|---|---|---|
| 学習率（Learning Rate） | 2e-5 〜 5e-5 | ベースモデルの事前学習済み知識を壊さないよう小さめに設定 |
| バッチサイズ | 32〜256 | MNRL損失では大きいバッチが有効（負例数が増加） |
| エポック数 | 1〜5 | 過学習に注意。検証セットの精度を監視 |
| ウォームアップ比率 | 0.1 | 学習率を最初の10%ステップで線形に増加 |
| 重み減衰（Weight Decay） | 0.01 | 過学習を軽減 |
| 最大シーケンス長 | 256〜512 | ドメインのテキスト長に応じて調整 |
| ハードネガティブ数 | 5〜20/正例 | 多すぎると学習が不安定になる |
ファインチューニング手法の進化
GISTEmbed（2024）
- ガイドモデル（大型の教師モデル）を用いて、学習中にネガティブサンプルの品質を動的に評価
- 小型モデル（MiniLM-L6等）でも大型モデルに匹敵する精度を実現
- 計算コストの増加は約20%に留まる
Matryoshka Representation Learning（MRL, 2022→2024普及）
- ロシアのマトリョーシカ人形にちなんだ名称。埋め込みベクトルの先頭d次元のみを使っても精度を維持できるよう学習
- 768次元のモデルを256次元で利用しても精度低下が5%以内
- ストレージコスト・検索速度の大幅な改善。OpenAI text-embedding-3-largeも採用
Contrastive Learning with Hard Negatives（2023〜）
- BGE/E5の成功を受け、ハードネガティブマイニング + 対照学習の組み合わせが標準化
- RetroMAE（BAAI）: マスク付きオートエンコーダによる事前学習で、ファインチューニング時の収束を高速化
ドメイン特化の成功事例
| ドメイン | ベースモデル | データ量 | 精度向上幅（Recall@10） |
|---|---|---|---|
| 医療（PubMed） | BGE-large | 50K ペア | +12.3% |
| 法律（契約書） | E5-large-v2 | 20K ペア | +18.7% |
| EC（商品検索） | all-MiniLM-L6 | 100K ペア | +8.5% |
| カスタマーサポート | multilingual-e5 | 10K ペア | +15.2% |
| ソースコード検索 | CodeBERT | 200K ペア | +22.1% |
sentence-transformersでのファインチューニング手順
- データローダーの準備:
InputExample(texts=[query, positive_doc])のリストを作成 - 損失関数の定義:
losses.MultipleNegativesRankingLoss(model)が最も汎用的 - 評価器の設定:
evaluation.InformationRetrievalEvaluatorで検索精度を監視 - 学習の実行:
model.fit(train_objectives, evaluator, epochs, warmup_steps)で訓練 - モデルの保存:
model.save(path)でローカル保存。model.push_to_hub()でHugging Face Hubに公開
よくある質問（FAQ）
Q1: ファインチューニングにはどれくらいの学習データが必要ですか？ A: 最低1,000ペアから効果が見られるが、安定した改善には5,000〜10,000ペアが推奨。品質が量より重要で、正確なラベル付けの1,000ペアは、ノイジーな10,000ペアに勝ることが多い。
Q2: ファインチューニングでGPUは必須ですか？ A: 小型モデル（MiniLM-L6、22Mパラメータ）は1万ペアで約30分（Google Colab T4 GPU）。大型モデル（BGE-large、335M）は同データで約2時間。CPU-onlyでは10倍以上遅いため、GPU推奨。
Q3: ファインチューニングしたモデルは汎用性を失いますか？ A: 過学習すると汎用性が低下する。対策: エポック数を1〜3に抑える、学習率を2e-5以下に設定、検証セットで汎用タスクの精度もモニタリングする。Matryoshka Lossを併用すると汎用性の維持に効果的。
まとめ
- 埋め込みモデルのファインチューニングはドメイン固有の検索精度を10〜20%向上させる
- MultipleNegativesRankingLoss + ハードネガティブマイニングが2025年の標準手法
- 5,000〜10,000の高品質ペアデータで汎用モデルを大幅に上回る精度を達成可能
- Matryoshka表現学習で次元削減時の精度劣化を5%以内に抑制