ESM-3（イーエスエムスリー）
Metaが2024年に発表した科学的基盤モデル。タンパク質の配列・構造・機能を統合的に学習した生成モデルで、新規タンパク質の設計が可能。
ESM-3とは
ESM-3（Evolutionary Scale Modeling 3）は、Meta AI ResearchのEvolutionary Scale社チームが2024年に発表したタンパク質科学向け生成AI基盤モデル。ESM-1・ESM-2と続く系譜の第3世代であり、従来の配列のみの学習から配列・構造・機能の3モダリティ統合へと大幅進化した。
アーキテクチャ
ESM-3は98億パラメータのトランスフォーマーモデルで、マスク言語モデリング（MLM）形式で学習される。
3つの入力/出力モダリティ:
- Sequence（配列）: アミノ酸配列のトークン化表現
- Structure（構造）: 原子座標をVQ-VAEでトークン化した「構造トークン」
- Function（機能）: Gene Ontologyアノテーションを埋め込んだ機能トークン
各モダリティを単独または組み合わせて入力し、欠損モダリティを生成するマルチモーダル補完が可能。
学習スケール
- 配列データ: ~2.78億タンパク質配列（UniRef/MGnifyほか）
- 構造データ: ~2,160万構造（PDB + ESMFoldによる予測構造）
- 機能データ: ~5.39億 InterPro/GO アノテーション
- 学習トークン: 約1兆686億トークン
- モデルサイズ: 3億（ESM-3 Small）/ 9.8B（ESM-3）/ 98B（ESM-3 Large、非公開）
主要な実証実績
新規蛍光タンパク質の設計
ESM-3は自然界の蛍光タンパク質（GFP族）とわずか58%の配列同一性しか持たない新規タンパク質（esmGFP）を設計し、実験室で蛍光活性を確認。これは5億年分の進化距離に相当する新規性とされる。
ゼロショット機能予測
構造・機能トークンを活用したゼロショット変異効果予測でSOTA性能を達成。
ESM-2との違い
モダリティ: 配列のみ→配列・構造・機能へ。生成能力: なし（エンコーダ）→あり（生成モデル）へ。構造予測: ESMFold別モデル→統合へ。設計タスク: 配列マスク補完→三モダリティ条件付き生成へと進化した。
アクセス
ESM-3のSmall/Mediumモデルはオープンソース（非商用）で公開。APIはEvolutionary Scale社のHugging Face経由で利用可能。商用利用は別途ライセンス。
応用分野
- 酵素設計: 特定基質への結合最適化
- 医薬品タンパク質: 抗体・サイトカイン・ホルモンの工学
- 生体材料: 自己組織化ペプチド設計
- 構造解析支援: 低解像度実験データへの構造トークン補完
ESM-3は「タンパク質のためのGPT」とも称され、生物学的発見を加速するAI基盤モデルとして製薬・農業バイオテクノロジー分野で注目されている。