BioGPT（バイオジーピーティー）

BioGPTとは

BioGPTは、Microsoft Researchが2022年にBioinformatics誌で発表した生物医学テキスト向け生成言語モデル。GPT-2アーキテクチャを基盤とし、PubMedから収集した1,500万件以上の生物医学論文のみで学習したドメイン特化型LLM。

背景：ドメイン特化LLMの必要性

汎用LLM（GPT-3等）は生物医学用語・略語・専門的文脈の処理に課題がある:

• PubMed固有の略語（例: TGF-β、MAPK、IL-6）の正確な解釈
• 疾患-遺伝子-薬物の三者関係の複雑な記述
• 査読論文特有の論証スタイル

BioGPTはPubMed特化学習でこれらを克服し、生物医学ドメイン内での生成・推論品質を向上させた。

アーキテクチャ

• ベース: GPT-2トランスフォーマー（デコーダのみ）
• パラメータ数: 3.47億（BioGPT）、15億（BioGPT-Large）
• トークナイザ: BPEベース、生物医学語彙に最適化
• 学習データ: PubMed 1,513万件（2021年まで）
• 学習方式: 次トークン予測（CLM: Causal Language Modeling）

タスク別性能

関係抽出（Relation Extraction）

BC5CDR（疾患-化学物質）・DDI（薬物相互作用）・KD-DTI（薬物-標的相互作用）の各ベンチマークでF1スコアがBERT・BioBERT等を上回った。

質問応答（QA）

PubMedQAベンチマークで78.2%（Few-Shot） の精度を達成。MedQA・BioASQでも競争力ある性能を示した。

BioGPTと関連モデルの比較

• BioGPT（Microsoft）: GPT-2ベース、PubMed特化、生成・QA・RE
• BioBERT（DMIS Lab）: BERTベース、PubMed+PMC、NER・RE・QA
• PubMedBERT（Microsoft）: BERTベース、PubMed特化、エンコード系
• GatorTron（UF Health）: BERTベース、臨床notes、臨床NLP
• Med-PaLM 2（Google）: PaLM 2ベース、医学知識、臨床QA

生物医学NLPパイプラインへの組み込み

BioGPTはHugging Face Transformersで公開されており、既存のNLPパイプラインに容易に統合できる。BioGptTokenizerとBioGptForCausalLMクラスでロード・推論が可能。

主な応用シナリオ

1. 薬物副作用の自動抽出: 添付文書・副作用報告からの構造化情報取得
2. 文献スクリーニング: 大量論文からのエビデンス抽出（システマティックレビュー支援）
3. バイオマーカー同定: 疾患と遺伝子マーカーの関係抽出
4. 臨床試験プロトコル分析: 適格基準・エンドポイントの自動解析
5. ドラッグリパーパシング: 既存薬の新適応症探索

後継・発展系

• BioGPT-Large（15億パラメータ）: 精度向上版
• BioMedLM（PubMedGPT）: Stanford HAI/MosaicMLの2.7Bモデル
• MEDITRON-70B: EPFLの医療特化LLaMA-2 70B
• OpenBioLLM-70B: Saama AIのオープン医療LLM

BioGPTは生物医学AIの初期世代として、ドメイン特化LLMの有効性を実証した先駆的モデルであり、製薬・臨床研究・バイオインフォマティクスの実務で今も広く活用されている。