RAFTドメイン適応（ラフトドメインテキオウ）
RAFTのドメイン適応は、特定の専門領域（医療、法律、金融、技術文書など）のコーパスでRAFTデータセットを構築・訓練することで、そのドメインのRAGパイプラインの精度を飛躍的に向上させるプロセスである。汎用LLMでは対応しきれない専門用語や推論パターンを獲得する。
ドメイン適応の意義
RAFT（Retrieval Augmented Fine-Tuning）のドメイン適応は、汎用LLMを特定の専門領域に特化させる上で最も効果的なアプローチの一つである。汎用LLMは幅広い知識を持つが、特定ドメインの専門用語、推論パターン、文書形式に対する理解は不十分であることが多い。RAFTのドメイン適応により、以下の能力が獲得される：
- 専門用語の正確な理解：ドメイン固有の略語、術語、概念間の関係を正確に把握
- 文書形式への適応：論文、法令、診療ガイドラインなど、ドメイン特有の文書構造に対する理解
- 推論パターンの獲得：ドメイン固有の論理展開（法的三段論法、臨床推論など）の学習
- ノイズ耐性の向上：そのドメインで典型的なdistractor文書パターンに対する堅牢性
論文の実験では、RAFTのドメイン適応がDSFT（Domain-Specific Fine-Tuning）やvanilla RAGを大幅に上回る性能を達成することが示されている。特に、専門知識を要するQAタスクでは、RAFTのドメイン適応により正答率が10〜30ポイント向上するケースが報告されている。
医療ドメインでの適用
医療ドメインはRAFTの効果が最も顕著に現れる領域の一つである。
適用事例
| 用途 | 文書ソース | 効果 |
|---|---|---|
| 診療支援QA | 診療ガイドライン、添付文書 | 薬剤相互作用の検出精度90%以上 |
| 文献検索支援 | PubMed論文、レビュー記事 | 関連論文の情報抽出精度が30%向上 |
| 患者教育 | 患者向け説明文書 | 平易な回答生成と根拠の明示 |
| 臨床試験解析 | プロトコル、結果報告 | 適格基準の自動照合 |
医療ドメイン特有の課題
医療ドメインでRAFT訓練を実施する際の主な課題は以下の通りである：
データプライバシー：患者データを含む文書は匿名化が必須。HIPAA/個人情報保護法に準拠したデータ処理パイプラインが必要。
正確性の要件：医療情報の誤りは直接的な健康被害につながりうるため、CoT回答の精度に対する要求が他ドメインより格段に高い。人手検証の割合を通常の5〜10%から20〜30%に引き上げることが推奨される。
用語の曖昧性：同じ略語が複数の意味を持つケース（例：MS = Multiple Sclerosis / Mass Spectrometry）が多く、distractor文書の選定に注意が必要。
法律ドメインでの適用
法律ドメインは、類似表現が多くdistractor文書が紛らわしいという特性から、RAFTのノイズ耐性が大きな価値を発揮する領域である。
適用事例
| 用途 | 文書ソース | 効果 |
|---|---|---|
| 判例検索 | 判例データベース、裁判記録 | 関連判例の抽出精度が25%向上 |
| 契約書レビュー | 契約書テンプレート、条項集 | リスク条項の検出精度85%以上 |
| 法令解釈支援 | 法令、通達、逐条解説 | 適用条文の特定精度が20%向上 |
| デューデリジェンス | 企業文書、登記情報 | 審査項目の自動チェック |
法律ドメイン特有の考慮事項
法律文書は特有の文体（法令文、判例要旨、契約条項）を持つため、チャンキング戦略にドメイン知識が必要である。条文番号や項番号での分割、判例の事実・判旨・結論での分割など、法律文書の構造に合わせた前処理が効果を左右する。
金融ドメインでの適用
金融ドメインでは、数値情報の正確な抽出と時系列的な文脈理解が重要となる。
適用事例
| 用途 | 文書ソース | 効果 |
|---|---|---|
| 財務分析支援 | 有価証券報告書、決算短信 | 財務数値の抽出精度95%以上 |
| リスク評価 | リスクレポート、審査資料 | リスク要因の網羅率が35%向上 |
| 規制遵守 | 金融規制文書、通達 | 適用規則の特定精度が20%向上 |
| 市場分析 | アナリストレポート、ニュース | トレンド情報の要約精度向上 |
金融ドメイン特有の課題
数値情報の正確性が極めて重要であり、CoT回答で数値を引用する際の桁ミスや単位ミスは致命的となる。また、同一企業の異なる期の財務諸表がdistractor文書として出現するケースでは、時系列の識別能力が求められる。
技術文書ドメインでの適用
技術文書ドメインは、バージョン間の差異がdistractor的に作用する独特の課題を持つ。
適用事例
| 用途 | 文書ソース | 効果 |
|---|---|---|
| API仕様QA | API仕様書、SDKドキュメント | 正しいバージョンの仕様を回答率90%以上 |
| トラブルシューティング | ナレッジベース、バグレポート | 解決手順の正確な抽出 |
| コード生成支援 | サンプルコード、チュートリアル | コンテキストに基づく正確なコード生成 |
| リリースノート解析 | 変更履歴、マイグレーションガイド | 破壊的変更の正確な識別 |
技術文書特有の考慮事項
技術文書ではバージョン情報が重要であり、同じAPIの異なるバージョンの文書がdistractor文書として出現する。これは非常に紛らわしいdistractorであり、RAFT訓練でこの識別能力を高めることが重要である。コードスニペットを含む文書のチャンキングでは、コードブロックの途中で分割しないよう注意が必要である。
評価ベンチマークとメトリクス
RAFTのドメイン適応の効果を測定するために、以下のベンチマークとメトリクスが使用される。
主要ベンチマーク
| ベンチマーク | ドメイン | タスク | メトリクス |
|---|---|---|---|
| PubMedQA | 医療 | 論文ベースQA | Accuracy |
| LegalBench | 法律 | 法的推論 | Accuracy, F1 |
| FinQA | 金融 | 財務数値QA | Accuracy, Execution Accuracy |
| HotpotQA | 一般 | マルチホップQA | F1, EM |
| Natural Questions | 一般 | オープンドメインQA | F1, EM |
評価メトリクス
| メトリクス | 説明 | 重要度 |
|---|---|---|
| Exact Match (EM) | 完全一致率 | 事実確認型で重要 |
| F1スコア | トークンレベルの適合率・再現率 | 説明型で重要 |
| 引用精度 | 引用箇所の正確性 | 信頼性評価に重要 |
| ハルシネーション率 | 根拠なし回答の割合 | 安全性に直結 |
| レイテンシ | 回答生成時間 | 実用性に影響 |
よくある質問
Q: ドメイン適応にはどの程度のドメイン文書が必要ですか？
最低限の目安として、100〜500文書（チャンク後で1,000〜5,000チャンク程度）があればドメイン適応の効果は確認できる。ただし、高い精度を求める場合は1,000文書以上（10,000チャンク以上）が望ましい。重要なのは文書の多様性であり、同一ソースからの大量の類似文書よりも、異なる著者・形式・時期の文書をバランスよく含めることが効果的である。
Q: 複数ドメインに同時に適応できますか？
技術的には可能だが、ドメイン間の知識が干渉する場合がある。たとえば、医療と法律の両ドメインに同時適応すると、各ドメイン単独で訓練した場合と比較して性能が低下する可能性がある。複数ドメインへの適応が必要な場合は、（1）ドメインごとに別モデルを訓練してルーティングする、（2）マルチタスク学習として全ドメインのデータを混合する（各ドメインのデータ量バランスに注意）、（3）ベースとなる汎用RAFT訓練の後にドメイン別に追加訓練する、といった戦略が考えられる。
Q: ドメイン適応後のモデルは汎用的なQAにも対応できますか？
ドメイン適応はパラメトリック知識の一部を上書きするため、汎用QAの性能が若干低下する場合がある。これは「catastrophic forgetting（壊滅的忘却）」と呼ばれる現象の一種である。対策として、（1）LoRA/QLoRAでパラメータ更新量を制限する、（2）訓練データに一般的なQAサンプルを10〜20%混合する、（3）LoRAアダプタのマージ比率を調整する、（4）推論時にドメインを検出してアダプタを切り替える、といった手法が有効である。実用上は、LoRA使用かつ一般QAデータ混合により、汎用性能の低下を最小限に抑えつつドメイン性能を大幅に向上させることが可能である。
Q: ドメイン適応の効果はどの程度持続しますか？
ドメインの知識が時間とともに変化する場合（法改正、新薬承認、技術アップデートなど）、適応モデルの性能も徐々に低下する。定期的な再訓練が必要であり、その頻度はドメインの変化速度に依存する。法律ドメインでは法改正のタイミングで、技術文書ドメインではメジャーバージョンリリース時に再訓練することが推奨される。増分学習（新しいデータのみで追加訓練）も有効だが、古い知識との整合性に注意が必要である。