AI・機械学習
中級
LLM継続ドメイン適応（エルエルエムケイゾクドメインテキオウ）
学習済みLLMを医療・法律・金融など特定ドメインのコーパスで継続学習し、専門知識と一般能力を両立させるトレーニング手法。
0 回閲覧
0 いいね
2026/6/8 更新
関連タグ
domain-adaptation
continual-pretraining
medical-llm
legal-llm
financial-llm
LLM継続ドメイン適応とは
LLM継続ドメイン適応（Continual Domain Adaptation）は、GPT-4やLLaMA 3などの汎用LLMに対し、特定産業ドメインの大量テキストで継続的な事前学習を施す技術です。ゼロから専門モデルを訓練するより大幅に低コストで、ドメイン特化のLLMを構築できます。
主要なドメイン別事例
医療・ライフサイエンス
- HuatuoGPT-II: Baichuan2ベース / 医療テキスト226GB / 中国語医療QA
- MedLLaMA3: LLaMA 3ベース / PubMed + 医療書籍 / 医学試験特化
- BioMedGPT: BioMedLMベース / PubMed 150万件 / 創薬支援
法律
- ChatLaw: LLaMA 2ベース / 中国法律データベース
- SaulLM-7B: Mistral 7Bベース / 英語法律文書42B tokens
- DISC-LawLLM: Baichuan 13Bベース / 法律相談特化
金融
- BloombergGPT: BLOOMベース / 金融データ363B tokens
- FinGPT: LLaMA 2ベース / オープンソース金融LLM
最適なデータ混合比
推奨データ構成:
- ドメイン特化データ: 60〜80%
- 汎用テキスト（リプレイ）: 15〜30%
- コード（能力維持）: 5〜10%
壊滅的忘却の許容指標:
- MMLU変動 ≤ 3%
- HumanEval変動 ≤ 5%
データ品質管理
医療・法律ドメインでは誤情報が深刻な被害を招くリスクがあります：
- ソース検証: 査読済み論文、公認法律データベースのみ使用
- 重複除去: MinHash等で近似重複を除去（品質向上と過学習防止）
- 有害コンテンツフィルタ: 医療誤情報・法律的に問題のある内容の除去
日本語ドメイン適応の事例（2025年）
- Swallow: 東工大によるLLaMA 3の日本語継続学習（医療・法律サブモデルも開発中）
- Sarashina: SB Intuitionsによるドメイン特化版
- PLaMo: Preferred Networksのドメイン特化版
継続ドメイン適応は、国産・産業特化LLMを低コストで実現する現実的アプローチとして、エンタープライズ市場での需要が急拡大しています。