Transformer / Attention Is All You Need (2017年)（トランスフォーマー）

Transformer / Attention Is All You Need (2017年)

概要

Transformer は2017年6月12日Ashish Vaswani (主著・Google Brain 2016-2020年・後Adept AI 2020-2024年・後Essential AI 2024年-) ・Noam Shazeer (Google Brain 2002-2021年・後Character.AI 2021年共同創業・2024年8月Google 復帰) ・Niki Parmar・Jakob Uszkoreit (1997年Google 創業者2人 Larry Page・Sergey Brin と並ぶGoogle 重鎮)・Llion Jones・Aidan N. Gomez (Cohere 共同創業 2019年)・Lukasz Kaiser (OpenAI 2021年-)・Illia Polosukhin (NEAR Protocol 共同創業 2018年) が論文「Attention Is All You Need」(NIPS 2017・31st Conference on Neural Information Processing Systems・引用15万+ 2024年現代) で発表したニューラルネットアーキでSelf-Attention・Multi-Head Attention (8 head)・Positional Encoding・RNN (Recurrent Neural Network) /LSTM (Long Short-Term Memory・1997年Hochreiter) 完全排除採用しBERT (2018年Google Jacob Devlin・「Bidirectional Encoder Representations from Transformers」) ・GPT-1/2/3/4/4o (2018-2024年OpenAI・自己回帰Transformer) ・Claude (Anthropic 2023年-) ・Gemini (Google 2023年-) 全現代LLM (Large Language Model) の祖先となった歴史的論文。8人の著者は2024年現代までに全員Google を離れ各社AI 企業を主導 (Adept・Cohere・NEAR・Character.AI 等)。

主な特徴・仕組み

• 発表: 2017年6月12日「Attention Is All You Need」NIPS 2017・arXiv:1706.03762
• 8人の著者: Vaswani・Shazeer・Parmar・Uszkoreit・Jones・Gomez・Kaiser・Polosukhin
• 革新: RNN/LSTM 完全排除・Self-Attention のみで言語モデル・並列処理可能
• 主要コンポーネント:
  • Self-Attention: 入力中の全位置間の関係を計算
  • Multi-Head Attention: 8 個のAttention を並列・異なる関係を捉える
  • Positional Encoding: 位置情報をベクトルに加算 (RNN なしで順序維持)
  • Encoder-Decoder: 翻訳タスク向け (BERT は Encoder のみ・GPT は Decoder のみ)
• 学習データ: WMT 2014 English-German・English-French
• タスク: 機械翻訳 (BLEU スコア 41.0 で当時SOTA・State-of-the-Art)
• 論文引用: 15万+ (2024年現代・AI 史上最重要論文の1つ)

Self-Attention 革新

Transformer の核心:

• 動作: 入力中の全単語間の重み (Attention Weight) を計算・「文中のどの単語が現在処理中の単語と関連深いか」を学習
• 数式: Attention(Q, K, V) = softmax(QK^T / sqrt(d_k)) V (Query・Key・Value 行列演算)
• 競合 RNN/LSTM: 順次処理 (時系列で1単語ずつ)・並列処理不可・長期依存に弱い
• メリット: (1) 並列処理可能 (GPU 効率最大化)・(2) 長期依存に強い (任意の位置間の関係直接学習)・(3) 解釈性高 (Attention Weight 可視化)
• 後継: 全現代LLM (BERT・GPT・Claude・Gemini) の核心メカニズム

Multi-Head Attention

Transformer の重要構造:

• 動作: 8 個のAttention ヘッドを並列・各ヘッドが異なる関係を学習
• 例: ヘッド1=文法関係・ヘッド2=意味関係・ヘッド3=長距離依存・等
• 数式: MultiHead(Q, K, V) = Concat(head_1, ..., head_8) W^O
• 効果: モデルの表現力大幅向上・複雑な言語パターン捕捉
• 後継: BERT (12 ヘッド・Base)・GPT-3 (96 ヘッド・175B パラメータ)・現代LLM では数百ヘッド標準

「Attention Is All You Need」のタイトル

論文タイトルの伝説:

• 由来: Beatles の「All You Need Is Love」(1967年) のパロディ
• 意図: 「Attention だけで十分・RNN/LSTM 不要」と強調
• 業界反応: 当初はNLP 業界の一部で「過激」と評価・後継BERT・GPT で完全実証
• 歴史的評価: 「最もキャッチーで重要なAI 論文タイトル」業界評価

8人の著者のその後

Google を全員離脱:

• Ashish Vaswani: Adept AI (2020-2024年・共同創業) → Essential AI (2024年-・共同創業)
• Noam Shazeer: Character.AI (2021-2024年・共同創業 CEO) → 2024年8月Google 復帰 ($2.7B 買戻し・Google Gemini チーム)
• Niki Parmar: Adept AI (Vaswani と)
• Jakob Uszkoreit: Inceptive (2023年・mRNA AI 創業)
• Llion Jones: Sakana AI (2023年・東京・日本AI 企業共同創業)
• Aidan N. Gomez: Cohere (2019年・共同創業 CEO・$5B 評価2024年)
• Lukasz Kaiser: OpenAI (2021年-)
• Illia Polosukhin: NEAR Protocol (2018年・暗号通貨)
• 意義: 「Google の8人の天才が全社退社・後10億ドル級 AI 企業を創業」業界現象

2017-2024年Transformer の系譜

7年間のAI 革命:

• 2017年6月Transformer (Vaswani・Google): 原論文
• 2018年6月GPT-1 (OpenAI・Radford et al): 自己回帰 Transformer・1.17億 パラメータ
• 2018年10月BERT (Devlin・Google): 双方向 Transformer・340M パラメータ
• 2019年GPT-2 (OpenAI): 1.5B パラメータ・「危険すぎる」と公開遅延
• 2020年5月GPT-3 (OpenAI): 175B パラメータ・大規模化革命
• 2020年Vision Transformer (Dosovitskiy・Google): 画像認識にTransformer
• 2022年11月ChatGPT (OpenAI・GPT-3.5): AI 革命起点
• 2023年3月GPT-4 (OpenAI): Multimodal AI
• 2023年Claude (Anthropic): 競合LLM
• 2023年Gemini (Google): GPT-4 競合
• 2024年5月GPT-4o (OpenAI): 音声・画像・テキスト統合
• 2024年9月OpenAI o1: 推論モデル (Chain of Thought)
• 2024年12月OpenAI o3 発表: AGI (Artificial General Intelligence) 接近?

Transformer の影響範囲 (2017-2024年)

全AI 業界が Transformer ベース:

• NLP: BERT・GPT・Claude・Gemini・全LLM
• 画像認識: Vision Transformer (2020年)・ViT・Swin Transformer・現代Computer Vision 主流
• 音声: Whisper (2022年OpenAI・音声認識)・Conformer・現代音声AI 主流
• 生成: DALL-E (2021年OpenAI)・Stable Diffusion (2022年Stability AI・Transformer+Diffusion)
• コード: GitHub Copilot (2021年・Codex)・Cursor AI・現代Coding AI 主流
• タンパク質: AlphaFold 2 (2020年DeepMind)・Transformer ベース・タンパク質構造予測革命
• 意義: 「2017年Transformer 以降の全AI 進歩は Transformer の延長」業界評価

関連技術との違い

よくある質問 (FAQ)

Q1: なぜTransformer が「現代AI の祖先」と呼ばれるか？ A: (1) 2017年6月発表時点で「RNN/LSTM を超越」革新・(2) BERT (2018年・340M) /GPT-1 (2018年・1.17億) で大規模化開始・(3) GPT-3 (2020年・175B) でChatGPT (2022年) の基盤・(4) Claude・Gemini・Llama 等の全主要LLM がTransformer・(5) Computer Vision・音声・タンパク質予測・全AI 領域に拡張・(6) 論文引用15万+ (AI 史上最重要論文)・全要因で「現代AI 革命の祖先」評価。

Q2: なぜ8人の著者全員 Google を離れたか？ A: (1) Transformer 論文 (2017年) でAI 業界の超有名人化・(2) 各自の起業/AI 企業移籍機会爆発・(3) Google 内部のAI 開発が官僚的でスピード感不足 (Vaswani・Shazeer 等が公言)・(4) OpenAI (2015年-) ・Anthropic (2021年-) ・Cohere (2019年-)・Adept (2020年-) 等のAI スタートアップへの誘致・(5) 株式オプション・SaaS 収益で大金獲得機会・全要因で「Google の8人の天才の流出」現象・但し2024年Noam Shazeer が Google 復帰 ($2.7B Character.AI 買戻し) で部分的回帰。

Q3: 現代でTransformer 学ぶ価値は？ A: 大いにあり。(1) 全現代AI モデル (LLM・Vision・Audio) の中核技術・(2) AI Engineer・ML Engineer の必須スキル・(3) AI Research Scientist は最高給職 (世界平均年収$200,000-$500,000)・(4) Hugging Face Transformers ライブラリで実装容易・(5) PyTorch/TensorFlow チュートリアル標準・(6) 2024年現代AI 革命の全基盤・新卒/転職市場で最重要AI スキル。

まとめ

• 2017年6月Vaswani et al (Google) 発表
• 「Attention Is All You Need」NIPS 2017
• Self-Attention・Multi-Head Attention
• RNN/LSTM 完全排除
• BERT/GPT/Claude/Gemini 全LLM の祖先