PubMedBERT（パブメドバート）
Microsoft Researchが開発したPubMed全文で事前学習したBERTモデル。一般テキストとの混合なしに生物医学文書のみで学習した「ドメイン専用事前学習」の有効性を実証したモデル。
PubMedBERT とは
PubMedBERTはMicrosoft Researchが2020年にNeurIPS論文として発表したバイオメディカル特化型BERTモデル。最大の特徴は「PubMedの文書のみ」で事前学習を行う純粋ドメイン事前学習（Domain-Specific Pretraining from Scratch）アプローチを採用した点。
学習データ（Biomedical Domain Corpus）
| データソース | 規模 | 取得方法 |
|---|---|---|
| PubMed Abstract（2020年時点） | 約1,600万件 | PubMed API・FTP |
| PubMed Central（PMC）OAサブセット | 約340万件全文 | PMC FTP |
| 合計 | 約30億単語 | — |
WikipediaやBooksCorpusは一切使用しない。これが「Domain-Specific Pretraining from Scratch」の本質。
なぜFromScratch学習が有効か
一般BERTのTokenizerは一般英語向けに最適化されており、医学用語の分割が非効率:
| 単語 | 一般BERTトークン数 | PubMedBERTトークン数 |
|---|---|---|
| acetylcholinesterase | 7分割 | 1トークン |
| transcriptomics | 4分割 | 1トークン |
| deoxyribonucleic | 7分割 | 1〜2トークン |
PubMedBERTはPubMedデータからBiomedical Vocabularyを構築し、医学用語を効率的に表現。
BLURBベンチマーク（発表時点SoTA）
BLURB（Biomedical Language Understanding and Reasoning Benchmark）の8タスク比較:
| タスク | PubMedBERT | BioBERT-v1.1 | 一般BERT |
|---|---|---|---|
| BC5CDR NER（薬物） | F1 90.6 | F1 89.8 | F1 84.5 |
| NCBI-disease NER | F1 87.8 | F1 86.8 | F1 82.1 |
| ChemProt RE | F1 77.2 | F1 76.4 | F1 71.3 |
| DDI RE | F1 82.1 | F1 81.3 | F1 77.5 |
| PubMedQA | Acc 55.8% | Acc 52.3% | Acc 47.5% |
| BioASQ | Acc 87.5% | Acc 85.3% | Acc 79.6% |
| BLURB総合スコア | 78.4 | 76.5 | 69.7 |
2020年発表時点でBLURB全タスクのSoTAを達成。
後継モデル
- BiomedBERT（2023）: PubMedBERTの大規模版（8億パラメータ）
- BioGPT（Microsoft, 2022）: GPT-2ベースの生成型バイオメディカルLLM
- Gatortron（UF Health, 2022）: EHRデータ82億トークン+医学論文で学習した83億パラメータ医療LLM
よくある質問（FAQ）
Q1: BioBERTとPubMedBERT、どちらを使うべきか？ A: 精度ではPubMedBERTが優位（BLURB全タスクで上回る）。BioBERTは長年の運用実績と豊富なファインチューニング済みモデルが利点。新規プロジェクトにはPubMedBERT推奨。
Q2: 製薬会社の研究で実際に使われているか？ A: Pfizer・AstraZeneca・Rocheなど大手製薬企業のバイオインフォマティクスチームがPubMedBERTを創薬ターゲット探索・副作用シグナル検出に活用していると報告されている。
Q3: 日本語の医学文献にも対応するか？ A: 英語専用。日本語医療NLPにはJ-MedBERT（産業技術総合研究所・2023年公開）が対応しており、日本語PubMed・J-STAGEデータで学習している。