GPT-1 / Generative Pre-trained Transformer (2018年)（ジーピーティーワン）

GPT-1 / Generative Pre-trained Transformer (2018年)

概要

GPT-1 (Generative Pre-trained Transformer 1) は2018年6月11日OpenAI (2015年12月Elon Musk・Sam Altman・Greg Brockman・Ilya Sutskever 等共同創業・「AI が人類に利益をもたらすべき」非営利→2019年営利化) Alec Radford (主著・Stanford 卒・OpenAI 2016-2024年)・Karthik Narasimhan (Princeton 教授後)・Tim Salimans (1ヶ月後OpenAI 退社→Google Brain・後Stability AI Chief Scientist)・Ilya Sutskever (OpenAI Co-Founder・Chief Scientist 2017-2024年・2024年OpenAI 退社・後Safe Superintelligence Inc. SSI 創業) が論文「Improving Language Understanding by Generative Pre-Training」で発表した初の大規模言語モデル (LLM) でTransformer Decoder のみ (Vaswani 2017年Encoder-Decoder の Decoder 部分) ・1.17億 パラメータ (現代GPT-4 推定100B+ の1/1000)・BookCorpus データセット (Toronto Yu Zhu 7,000冊書籍・約8億 トークン)・教師なし事前学習 (Unsupervised Pre-training・次単語予測)+教師ありファインチューニング (Supervised Fine-tuning) 採用しGPT シリーズの起点となった現代LLM 革命の出発点。後継GPT-2 (2019年2月1.5B)・GPT-3 (2020年5月175B)・GPT-3.5/ChatGPT (2022年11月)・GPT-4 (2023年3月)・GPT-4o (2024年5月)。

主な特徴・仕組み

• 発表: 2018年6月11日OpenAI・Alec Radford et al「Improving Language Understanding by Generative Pre-Training」
• 著者: Alec Radford (主著)・Karthik Narasimhan・Tim Salimans・Ilya Sutskever
• アーキ: Transformer Decoder のみ・12層
• パラメータ数: 1.17億 (GPT-4 推定100B+ の1/1000)
• 語彙サイズ: 40,000
• コンテキスト長: 512 トークン (現代GPT-4o 128K の1/250)
• 学習データ: BookCorpus (7,000冊書籍・約8億 トークン)
• 学習手法: 2 段階
  • 1. 教師なし事前学習 (Unsupervised Pre-training): 次単語予測 (Causal Language Modeling)
  • 2. 教師ありファインチューニング (Supervised Fine-tuning): タスク別 (分類・要約・質問応答)
• 学習計算: 月単位 (GPU・1台で30日推定)
• 後継: GPT-2 (2019年・1.5B)・GPT-3 (2020年・175B)

OpenAI の創設 (2015年12月)

GPT 系譜の起源:

• 2015年12月11日OpenAI 設立: 非営利・$1B 資金 (Elon Musk・Sam Altman・Reid Hoffman・Peter Thiel 等のSilicon Valley 投資)
• 共同創業者: Elon Musk (Tesla CEO・後2018年2月離脱)・Sam Altman (Y Combinator 元President・現OpenAI CEO)・Greg Brockman (元Stripe CTO・OpenAI President)・Ilya Sutskever (元Google Brain・OpenAI Chief Scientist 2017-2024年)・Wojciech Zaremba・John Schulman 等
• 使命: 「AI が全人類に利益をもたらすべき・AI の安全性を最優先」
• 2018年6月GPT-1 リリース: 設立から2.5年・初のメジャー発表
• 2019年3月OpenAI LP 設立: 非営利→営利ハイブリッド・Microsoft が$1B 投資
• 2024年現代: $157B 評価 (2024年10月)・年間収益$3.6B・「世界最大級AI 企業」

Alec Radford の物語

GPT の主著者:

• 大学: Stanford 卒
• キャリア: 2016年OpenAI 入社・GPT 全シリーズの主著者
• 主要業績: GPT-1 (2018)・GPT-2 (2019)・GPT-3 (2020)・CLIP (2021)・DALL-E (2021)・GPT-4 (2023)
• 2024年OpenAI 退社: 詳細不明 (Twitter で明かさず)・後継キャリア不明
• 歴史的意義: 「GPT 全シリーズの実質的主著者」・Ilya Sutskever (Chief Scientist) と並ぶOpenAI の最重要人物

Ilya Sutskever の物語

OpenAI Chief Scientist:

• 1986年生まれ: ロシアNizhny Novgorod・後 イスラエル・カナダ移住
• 大学: University of Toronto PhD (Geoffrey Hinton の弟子)
• 2012年9月AlexNet 共著: Krizhevsky・Hinton と共に「現代AI 革命の起点」論文
• 2013-2015年Google Brain: Google AI 研究員
• 2015年12月OpenAI 共同創業: Co-Founder・Chief Scientist
• 2017-2024年OpenAI Chief Scientist: GPT 全シリーズの戦略策定
• 2023年11月Sam Altman 解任事件: Sutskever が取締役会主導で Sam Altman 解任 (4日後復帰)・後の業界激震
• 2024年5月OpenAI 退社: 「私自身のAI Safety プロジェクト」と発表
• 2024年6月Safe Superintelligence Inc. (SSI) 創業: 「Safe AGI 開発」・$1B 資金調達 (2024年9月Series A・Sequoia 主導)
• 歴史的意義: 2012年AlexNet+2018年GPT-1+2024年SSI で「Deep Learning 革命の主要推進者」

2 段階学習 (Pretrain + Finetune)

GPT-1 の革新:

• 1段階目: 教師なし事前学習 (Unsupervised Pre-training):
  • データ: BookCorpus (7,000冊書籍・8億 トークン)
  • タスク: 次単語予測 (Causal Language Modeling)
  • 目的: 一般的な言語パターン学習
• 2段階目: 教師ありファインチューニング (Supervised Fine-tuning):
  • データ: タスク別の小規模ラベル付きデータ
  • タスク: 分類・要約・質問応答・テキスト含意 (NLI)
  • 目的: 特定タスクへの適応
• 意義: 「事前学習+ファインチューニング」概念の標準化・現代Transfer Learning の祖先
• 後継: BERT (2018年Google・Masked Language Modeling)・GPT-3 (2020年・Zero/Few-shot Learning・Fine-tuning 不要)・現代LLM の全基本パラダイム

2018-2024年GPT の系譜

6年間のLLM 革命:

• 2018年6月GPT-1: 1.17億 パラメータ・初代
• 2019年2月GPT-2: 1.5B パラメータ・「危険すぎる」と公開遅延 (後7月完全公開)
• 2020年5月GPT-3: 175B パラメータ・100倍スケール・「Few-shot Learning」革命
• 2022年3月InstructGPT (Christiano et al): RLHF (Reinforcement Learning from Human Feedback)・人間の指示に従う
• 2022年11月30日ChatGPT (GPT-3.5): 5日で100万ユーザー・「AI 革命起点」
• 2023年3月14日GPT-4: Multimodal (画像入力)・性能大幅向上・$20/月Plus 同時開始
• 2023年11月GPT-4 Turbo: 128K コンテキスト・知識2023年4月まで
• 2024年5月13日GPT-4o: Omni (テキスト+画像+音声 統合)・無料公開
• 2024年9月12日OpenAI o1: 推論モデル (Chain of Thought 内蔵)
• 2024年12月20日OpenAI o3: AGI 接近? (ARC-AGI Benchmark 87.5% スコア)

影響範囲 (2018-2024年)

GPT-1 から始まる業界変革:

• 2018-2019年BERT (Google)・GPT-2 (OpenAI) で「LLM」概念確立
• 2020年GPT-3 で「Foundation Model」(基盤モデル) 概念誕生: 単一モデルで多タスク対応
• 2021年GitHub Copilot (Codex): AI コーディング革命
• 2022年Stable Diffusion (テキスト→画像)・ChatGPT (チャット) で「Generative AI」概念
• 2023年Claude (Anthropic)・Gemini (Google)・Llama (Meta) 等の競合LLM 続出
• 2024年AGI (Artificial General Intelligence) 議論本格化: OpenAI o3 が ARC-AGI 87.5% スコアでAGI 接近?
• 2024年AI 業界規模: AI Inference 市場$70B・AI Training 市場$50B・OpenAI 評価$157B・xAI 評価$50B・Anthropic 評価$60B・Mistral $7B等の AI 巨大化

関連技術との違い

よくある質問 (FAQ)

Q1: なぜGPT-1 が「LLM 革命の出発点」と呼ばれるか？ A: (1) 2018年6月発表時点で「Transformer Decoder で言語生成」初の実証・(2) 教師なし事前学習+教師ありファインチューニング パラダイム確立・(3) 後継GPT-2 (1.5B)・GPT-3 (175B)・ChatGPT (2022年) で「現代AI 革命」起点・(4) Alec Radford・Ilya Sutskever 等のOpenAI の天才の手による・(5) BERT (2018年10月Google・GPT-1 4ヶ月後) と並ぶ2018年LLM 双子・全要因で「LLM 革命の出発点」評価。

Q2: GPT-1 と現代GPT-4o の違いは？ A: スケール差圧倒的。GPT-1 (2018年・1.17億 パラメータ・BookCorpus 7,000冊・コンテキスト512 トークン・テキストのみ)・GPT-4o (2024年・推定100B+ パラメータ・Web 全体+大量データ・コンテキスト128K トークン・テキスト+画像+音声 Multimodal)。性能差: GPT-1 は短いテキスト生成のみ・GPT-4o は人間と同等の会話・コーディング・推論。但し基本アーキ (Transformer Decoder・自己回帰生成) は GPT-1 と同じ。

Q3: 現代でGPT-1 学ぶ価値は？ A: 大いにあり。(1) 現代LLM 全シリーズ (GPT-2/3/4・Claude・Gemini・Llama) の祖先・(2) AI Engineer・ML Engineer の必須基礎知識・(3) Hugging Face で GPT-1 オープンソース実装利用可能・(4) Decoder-only アーキの理解出発点・(5) 「事前学習+ファインチューニング」パラダイムの起源・(6) AI 業界の最高給職へのキャリアパス基礎知識・新卒/転職市場で重要LLM 基礎スキル。

まとめ

• 2018年6月OpenAI Radford・Sutskever 発表
• Transformer Decoder のみ
• 1.17億 パラメータ・BookCorpus 7,000冊
• 教師なし事前学習+教師ありファインチューニング
• GPT シリーズの起点・LLM 革命出発点