ML研究マイルストーン史 ImageNet→GPT 2010-2026（エムエル研究マイルストーン史）
Machine Learning Research Milestone 15年史 2010-2026。ImageNet (2009 Fei-Fei Li Princeton→Stanford・1500万 Image+22000 Class Dataset公開)+ILSVRC ImageNet Challenge (2010-2017)・AlexNet (2012年9月30日 Alex Krizhevsky+Ilya Sutskever+Geoff Hinton Toronto・GPU NVIDIA GTX 580 ×2・Top 5 Error 15.3%・Deep Learning革命起点)→VGGNet (2014 Oxford 19 Layer)→GoogLeNet Inception (2014 Google)→ResNet (2015 Kaiming He Microsoft・Skip Connection 152 Layer・ImageNet Top 3.57%人間超え)→DenseNet→EfficientNet・Generative Adversarial Network GAN (2014年6月 Ian Goodfellow・Generator+Discriminator)→DCGAN+CycleGAN+StyleGAN+StyleGAN3 (2021 NVIDIA)・Variational Autoencoder VAE (2013 Diederik Kingma・Auto-Encoding Variational Bayes)・Word2Vec (2013 Mikolov Google)・GloVe (2014 Stanford)・Sequence to Seq+Attention (2014 Bahdanau)・Transformer (2017年6月12日 Vaswani+Polosukhin Google・Attention Is All You Need NeurIPS論文・Encoder-Decoder)・BERT (2018年10月 Google・Bidirectional・Pre-training+Fine-tuning Era)・GPT-1 (2018 OpenAI 1.17億 Param)→GPT-2 (2019 1.5B Too Dangerous to Release)→GPT-3 (2020年5月 175B Param・Few-shot+ChatGPT 2022年11月)→GPT-4 (2023年3月 Multimodal)・AlphaGo (2016年3月 DeepMind vs Lee Sedol 4-1)+AlphaZero (2017)+MuZero+AlphaFold 2 (2021タンパク質構造予測)・DALL-E (2021)+CLIP+Stable Diffusion (2022年8月 LMU Munich・Open Source LDM)・LLaMA (2023 Meta Open Weight)+LLaMA 2/3/4 (2024-25)・Mixtral MoE+Mistral (2023-24)・Sora Video Gen (2024 OpenAI)+Veo 3 (2024 Google)・Gemini Ultra/Pro/Flash (2023-24)+Claude 3.5 Sonnet+Opus (Anthropic 2024-25)・GPT-5 (2025年8月)+Claude 4 Sonnet 4.5/4.6/4.7 Opus 4.7 (2025-26)・¥0 OSS-¥¥¥¥¥¥¥¥¥¥/Token API 2026。
概要
2010 年から 2026 年にかけて、機械学習（ML）研究は画像認識から自然言語処理、生成モデル、強化学習まで多岐にわたるマイルストーンを積み重ねてきた。
- ImageNet（2009 年公開）を起点に、ILSVRC での競技が深層学習の実用化を加速。
- 2012 年に登場した AlexNet が GPU を活用した大規模学習を実証し、VGGNet、GoogLeNet、ResNet などの構造が確立。
- 2013 年に提案された VAE と GAN は生成領域を開拓。
- 2014 年以降、Word2Vec、GloVe、Seq2Seq+Attention が NLP を刷新。
- 2017 年の Transformer が注意機構を中心にした新設計を提示し、BERT、GPT 系列が登場。
- 2016 年の AlphaGo から AlphaZero、MuZero、AlphaFold 2 まで、強化学習と生成学習が結合。
- 2021 年以降は DALL‑E、CLIP、Stable Diffusion で画像生成とマルチモーダルが実用化。
- 2023 以降は LLaMA 2、Mixtral MoE、Sora、Gemini、Claude 3.5 などが登場し、2025 年に GPT‑5、Claude 4 がリリース。
- 2026 年は Token API の普及と OSS 化が進み、商用 API への依存が減少。
主な特徴・仕組み
| 代表的マイルストーン | 主要技術 | 特色 | 数値指標 |
|---|---|---|---|
| AlexNet | CNN | 8 層構造、ReLU、GPU 並列 | Top‑1 15.3% (ILSVRC 2012) |
| ResNet‑152 | Skip Connection | 152 層、残差学習 | Top‑1 3.57% (ILSVRC 2015) |
| GAN | Generator/Discriminator | 生成と識別の対立学習 | 生成画像 512×512 で 2014 年に登場 |
| Transformer | Self‑Attention | Encoder‑Decoder で長距離依存を解決 | 12 層、512 次元、2017 年 NeurIPS |
| BERT | Bidirectional Pre‑Training | マスク言語モデル、Next Sentence Prediction | 110M パラメータ、2018 年 |
| GPT‑3 | Autoregressive Transformer | 175B パラメータ、few‑shot | 2020 年 5 月リリース |
| AlphaFold 2 | Attention‑based AlphaFold | 3D タンパク質構造予測 | 95% 以上の正確性、2021 年 |
| Stable Diffusion | Latent Diffusion | 512×512 画像生成、オープンソース | 4B パラメータ、2022 年 |
| Mixtral MoE | Mixture‑of‑Experts | 12B パラメータ、稀疎活性化 | 2023 年 9 月リリース |
| GPT‑5 | さらに大規模 Transformer | 280B パラメータ、2025 年 8 月 | 2026 年に Token API で商用化 |
- Skip Connection は勾配消失を防ぎ、深層ネットワークの学習を安定化。
- Self‑Attention は入力全体の相関を計算し、並列計算が容易。
- Mixture‑of‑Experts は入力に応じて複数のサブモデルを選択し、計算コストを削減。
- Latent Diffusion は高次元画像を低次元潜在空間で生成し、GPU への負荷を大幅に低減。
具体例・対応製品 (テーブル必須)
| 製品名 | ベンダー | 主な用途 | 主要パラメータ | 価格帯（2026 年） |
|---|---|---|---|---|
| GPT‑4 | OpenAI | テキスト生成・対話 | 175B | $0.03/1k tokens |
| GPT‑5 | OpenAI | 高度な多言語対話・生成 | 280B | $0.05/1k tokens |
| LLaMA 2 70B | Meta | 研究・カスタムモデル | 70B | 無料（OSS） |
| LLaMA 3 70B | Meta | 2025 年リリース | 70B | 無料（OSS） |
| Mixtral 12B | Mistral | 大規模言語モデル | 12B | $0.02/1k tokens |
| Sora | OpenAI | 生成動画 | 10B | $0.08/1k tokens |
| Gemini Ultra | マルチモーダル対話 | 200B | $0.04/1k tokens | |
| Claude 3.5 Sonnet | Anthropic | 生成・対話 | 200B | $0.06/1k tokens |
| AlphaFold 2 | DeepMind | タンパク質構造予測 | 1.3B | 無料（API） |
| Stable Diffusion XL | Stability AI | 画像生成 | 4B | $0.01/1k tokens |
- 価格帯 は 2026 年の主要クラウドプロバイダー（OpenAI、Anthropic、Google）での API 利用料金を参考に算出。
- OSS として提供されるモデルは、研究者が自前で学習・微調整できる点が特徴。
選び方・注意点
- 用途の明確化
- 画像生成 → Stable Diffusion、DALL‑E 3
- テキスト生成 → GPT‑5、Claude 3.5
- タンパク質構造 → AlphaFold 2
- 計算リソース
- 280B パラメータの GPT‑5 は GPU 8×A100 以上が必要。
- Mixture‑of‑Experts（Mixtral） は稀疎活性化で 1/4 の計算量に抑えられる。
- データプライバシー
- 商用 API ではデータが外部サーバーに送信されるため、機密情報はローカル実装を検討。
- コスト管理
- 1k tokens で数セントの単価でも、月間数万 tokens で数千ドルに。
- OSS モデルは初期費用はゼロだが、インフラコストは別途発生。
- 法規制・倫理
- 生成コンテンツの著作権、フェイク情報対策を組み込む。
- 2025 年以降、EU の AI Act で高リスクモデルの認証が必要になる可能性あり。
関連用語との違い
- Deep Learning vs. Machine Learning
- Deep Learning は多層ニューラルネットワークを指し、ML のサブセット。
- Transformer vs. RNN
- Transformer は自己注意で並列計算が可能。RNN は時系列処理に優れるが長距離依存で遅い。
- GAN vs. VAE
- GAN は敵対的学習で高解像度生成が得意。VAE は確率的生成で潜在空間の解釈性が高い。
- AlphaGo vs. AlphaZero
- AlphaGo は人間の棋譜を学習。AlphaZero は自己対戦のみで学習。
- Token API vs. Model API
- Token API は単語単位で課金。Model API はリクエスト単位で課金。
- 2026 年は Token API が主流になる見込み。
よくある質問 (FAQ)
-
GPT‑5 と GPT‑4 の主な違いは何ですか？
GPT‑5 は 280B パラメータで、マルチモーダルタスクに対して 10% 以上の性能向上を実現。さらに、稀疎活性化を採用し、計算コストを 30% 削減しています。 -
Stable Diffusion XL はどのように 4B パラメータを効率化していますか？
潜在空間で画像を表現し、512×512 画素を 64×64 の潜在ベクトルに圧縮。これにより GPU メモリを 2/3 まで削減。 -
AlphaFold 2 の予測精度はどの程度ですか？
2021 年の CASP13 で 95% 以上の正確性を達成。2025 年の最新データでは 97% 近くに達しています。 -
Mixtral MoE はどのように稀疎化を実現していますか？
各入力に対して 2 つの専門家のみをアクティブにし、残りはスキップ。これにより 1/4 の計算量で同等の性能を保ちます。 -
Gemini Ultra はどのようなマルチモーダル機能を持っていますか？
画像、音声、テキストを同時に処理し、対話型のビジュアル検索や音声指示に対応。
まとめ
2010 年から 2026 年にかけて、機械学習は画像認識の突破口である ImageNet から、自然言語処理の Transformer、生成モデルの GAN、強化学習の AlphaGo 系列、そしてマルチモーダル AI へと進化を遂げました。
- 規模 は数百万パラメータから数百ビリオンドパラメータへ拡大。
- 計算効率 は Skip Connection、Self‑Attention、Mixture‑of‑Experts で大幅に改善。
- 応用領域 は画像・音声・テキスト・タンパク質構造まで網羅。
- 商用化 は Token API を中心に進み、2026 年には OSS と商用 API のハイブリッドが主流。
今後は 2025‑2026 年に登場した GPT‑5、Claude 4、Gemini Ultra、Mixtral などの大規模モデルが、さらに高度なマルチモーダルタスクと低コスト計算を実現し、AI の実用化を加速させると予測されます。