DAPT（ドメイン適応的事前学習）（ディーエーピーティー）

DAPT（Domain-Adaptive Pre-Training）とは

DAPTはDomain-Adaptive Pre-Trainingの略で、汎用的に学習済みの言語モデルに対して、特定ドメインの大量テキストで追加事前学習を行う手法です。2020年にAllenAIの研究チーム（Gururangan et al.）が発表した論文「Don't Stop Pretraining」で広く知られるようになりました。

背景と動機

BERTやRoBERTaなどの汎用LLMはWikipediaやBooksCorpusで学習されており、医療・法律・科学・生命科学などの専門ドメインの文体・用語・文脈とは大きく異なります。この分布の乖離（Distribution Shift）がダウンストリームタスクの精度低下につながります。DAPTはこの問題をドメイン固有コーパスでのマスク言語モデリング（MLM）再学習によって解消します。

代表的なDAPTモデル

• BioBERT: 生命科学・医療 / BERT / PubMed + PMC
• SciBERT: 科学論文全般 / BERT / Semantic Scholar
• LegalBERT: 法律 / BERT / EU法律文書
• FinBERT: 金融 / BERT / 財務報告書・ニュース
• CodeBERT: プログラミング / RoBERTa / GitHub

DAPTの手順（LLM時代の実装）

# Axolotl設定例
config = {
    "base_model": "meta-llama/Meta-Llama-3-8B",
    "datasets": [
        {"path": "medical_corpus_v2", "type": "completion"},
        {"path": "general_replay_5pct", "type": "completion"},
    ],
    "learning_rate": 0.00002,
    "num_epochs": 2,
}

DAPT vs TAPT

• DAPT: ドメイン全体のデータ（数GB〜数TB）/ ドメイン内広範な汎化 / 中〜大コスト
• TAPT: 特定タスクのデータ（数MB〜数GB）/ タスク特化 / 小コスト

2025年のトレンド

LLM時代のDAPTでは、BERT時代と異なりCausal Language Modeling（CLM）で実施するケースが主流です。LoRA等のPEFTと組み合わせたパラメータ効率的DAPTも研究が進んでいます。また、データ選択（Data Selection）によってドメインデータの品質フィルタリングを行い、少量でも効果的なDAPTを実現する手法（LESS, IFD等）も注目されています。