Meditron（メディトロン）
スイスEPFLが開発した医療特化型LLM。Llama-2をベースに医学論文・ガイドライン・臨床データで継続学習し、医療QAと臨床意思決定支援で高精度を発揮する。
Meditron とは
MeditronはスイスのEPFL（École Polytechnique Fédérale de Lausanne）とYale School of Medicineが共同で開発した医療特化型大規模言語モデル。2023年11月に論文発表・モデル公開され、医療AIの民主化を目指す試みとして世界的な注目を集めた。
開発背景と目的
医療AIの研究は「閉じた世界」で行われることが多く、GPT-4やMed-PaLM 2などの高精度医療LLMはAPIアクセスのみで研究者・臨床医が自由に改変できなかった。Meditronは医療LLMをオープンソースで提供することで:
- 低・中所得国の医療機関による独自デプロイを可能に
- 研究者がモデルの内部構造を検証・改良できる透明性の確保
- プライバシー重視の病院でのオンプレミス運用
を実現することを目指している。
モデル詳細
| モデル | ベース | パラメータ | 主な特徴 |
|---|---|---|---|
| Meditron-7B | Llama-2-7B | 70億 | 軽量版・エッジ/オンプレ向け |
| Meditron-70B | Llama-2-70B | 700億 | 高精度版・GPUサーバー向け |
継続事前学習データ（GAL Corpus）
EPFLが整備した医療特化コーパス「GAL（Guidelines And Literature）Corpus」:
| データソース | 規模 | 内容 |
|---|---|---|
| PubMed論文 | 約200億トークン | 2023年までの医学論文全文 |
| PubMed Central（PMC） | 約160億トークン | OAコレクション全件 |
| 医療ガイドライン | 約40億トークン | WHO・CDC・NIH・各国学会のガイドライン |
| 医学教科書 | 約8億トークン | Harrison's/Robbins等のOAテキスト |
| 合計 | 約54Bトークン | — |
性能評価
USMLE（米国医師国家試験）
USMLE Step 1/Step 2/Step 3に相当する問題セット（MedQA）での正答率:
| モデル | MedQA（4択） | 合格ライン目安 |
|---|---|---|
| Meditron-70B | 72.3% | 60%（合格圏） |
| Llama-2-70B（未特化） | 51.8% | — |
| GPT-3.5-turbo | 57.0% | — |
| GPT-4 | 86.7% | — |
| Med-PaLM 2 | 86.5% | — |
Meditron-70Bはオープンソース医療LLMとして2023年時点で最高スコア。
MedMCQA（インド医師試験ベース）
| モデル | 正答率 |
|---|---|
| Meditron-70B | 71.5% |
| Llama-2-70B | 52.3% |
| GPT-4 | 79.1% |
アーキテクチャの特徴
Replay Training
継続学習時のCatastrophic Forgetting（破滅的忘却）対策。一般コーパス（LlamaのオリジナルDataset）を小割合で混ぜることで、医療知識を追加しつつ一般語能力の劣化を防止。医療文書のみで学習すると「1+1=?」等の基本算術が崩壊するケースがあり、Replayがこれを抑制。
Instruction Tuning
Meditron-Chat（会話版）はSFTで医療対話スタイルを習得。患者からの質問・医師の問診・処方説明の対話ペアでファインチューニング。
限界と注意事項
- 知識カットオフ: 2023年の論文・ガイドラインのみ。新型疾患や2024年以降の治療指針は未反映
- ハルシネーション: 実在しない薬剤名・投与量・文献引用が混入することがある
- 法的責任: いかなる国においても、AIの診断回答は医師の診察の代替にならない
- 英語中心: 学習データの大半が英語。日本語医療文書への直接適用は精度低下が大きい
Meditron-70B vs Med-PaLM 2
| 比較軸 | Meditron-70B | Med-PaLM 2 |
|---|---|---|
| アクセス | オープンソース（Hugging Face） | API限定（Google Cloud） |
| 精度（MedQA） | 72.3% | 86.5% |
| コスト | GPU代のみ | API課金 |
| プライバシー | オンプレ可能 | データをGoogleに送信 |
| カスタマイズ | ○（ファインチューニング可） | × |
よくある質問（FAQ）
Q1: Meditronは商用利用可能か？ A: ベースがLlama-2なため、Llama-2のライセンス（月間アクティブユーザー7億人超の商用利用は有償ライセンス要）に準ずる。研究・非商用は無料。
Q2: 日本の医師国家試験（医師国試）に対応できるか？ A: 日本語の医師国試問題への直接適用は精度が大きく落ちる（英語特化のため）。日本語医療LLM開発の参考モデルとして活用する形が現実的。
Q3: GPT-4より精度が低いのに使う価値はあるか？ A: プライバシー（患者データをAPIに送れない）・コスト・オフライン運用の観点から、精度がGPT-4より低くても採用する病院・研究機関は多い。