Transformer + Attention Mechanism (2017)（トランスフォーマー）
2017年に発表された、RNNを用いずSelf-Attention機構のみでシーケンス処理を行う深層学習アーキテクチャ。現代の生成AI（LLM）における計算基盤となる革新的な技術。
概要
Transformerは、Google Researchの研究者らによって発表された論文「Attention Is All You Need」で提唱されました。最大の特徴は、従来の再帰型ニューラルネットワーク（RNN）のような逐次的な計算プロセスを排除し、Self-Attention（自己注意機構）のみでデータの文脈を捉える点にあります。これにより、文中の離れた位置にある単語同士の関係性も直接的に計算可能となり、計算の並列化と長距離依存関係の正確な把握が実現しました。
このアーキテクチャは、入力情報の重み付けを行う「Scaled Dot-Product Attention」を核とし、複数の視点から情報を抽出する「Multi-Head Attention」、および非線形変換を行う「Feed Forward Network」で構成されます。現在では自然言語処理の枠を超え、画像認識（Vision Transformer）や音声解析など、あらゆるモダリティの基盤技術として定着しています。
アーキテクチャ構成要素
| コンポーネント | 機能・役割 |
|---|---|
| Self-Attention | 入力シーケンス内の各トークンが、他の全トークンに対してどの程度注目すべきかを計算する。 |
| Multi-Head Attention | Attentionを複数の「ヘッド」に分割し、異なる特徴（文法、意味、構文など）を並列的に抽出する。 |
| Positional Encoding | 逐次処理を行わないTransformerにおいて、単語の出現順序（位置情報）をベクトルとして付与する。 |
| Feed Forward Network | 各トークンの表現に対して、位置に依存しない非線形変換を適用し、特徴量を高次元化する。 |
| Residual Connection | 入力値を層の出力に加算することで、勾配消失を防ぎ、深いネットワークの学習を安定させる。 |
| Layer Normalization | 各層の入力を正規化し、学習の収束速度と数値的な安定性を向上させる。 |
比較表：RNN/LSTM vs Transformer
| 特徴項目 | RNN / LSTM系 | Transformer系 |
|---|---|---|
| 計算プロセス | 逐次的（前の状態に依存） | 並列的（全トークン同時処理） |
| 長距離依存性 | 距離が離れると情報が消失しやすい | 距離に関わらず直接的な関連付けが可能 |
| 学習効率 | 計算の並列化が難しく、大規模化に限界 | GPUによる大規模並列計算に極めて適している |
| 計算複雑度 | シーケンス長に対して線形（$O(N)$） | シーケンス長の二乗に比例（$O(N^2)$） |
関連用語との違い
Self-Attention と Cross-Attention
- Self-Attention: 同一のシーケンス内での要素間の関係性を計算する。EncoderまたはDecoder内部で使用される。
- Cross-Attention: Encoderの出力（Key, Value）と、Decoderの入力（Query）を照らし合わせる。翻訳タルのように、ソース言語とターゲット言語の関係を紐付ける際に使用される。
Encoder-only と Decoder-only
- Encoder-only (例: BERT系): 入力文全体を双方向に読み込み、文脈理解や分類に特化。文の構造把握に強い。
- Decoder-only (例: GPT系): 前方のトークンから次方のトークンを予測する自己回帰的な構成。文章生成（Generative AI）の主流。
FAQ
Q1. TransformerがRNNよりも優れている決定的な理由は何ですか？
最大の理由は「並列計算能力」と「長距離依存性の解消」です。RNNは前の時刻の計算が終わるまで次の計算ができないため、大規模データの学習に時間がかかります。Transformerは全トークンを同時に処理できるため、GPUリソースを最大限に活用でき、数千億規模のパラメータを持つ巨大なモデルの構築を可能にしました。
Q2. Multi-Head Attentionにはどのようなメリットがありますか？
単一のAttentionでは、特定の文脈（例えば「主語と動詞の関係」のみ）に注目が偏る可能性があります。Multi-Head化することで、あるヘッドは構文的な関係を、別のヘッドは意味的な関連性を、といった具合に、異なる特徴空間における情報を同時に捉えることができ、表現力が飛躍的に向上します。
Q3. Transformerの弱点や、2025年以降の動向について教えてください。
Transformerの最大の課題は、計算量がシーケンス長の二乗（$O(N^2)$）で増大することです。これにより、非常に長い文書や動画の処理には膨大なメモリが必要です。そのため、近年では計算量を線形に抑えるSSM (State Space Models) や Mamba といった新しいアーキテクチャが登場しており、Transformerの並列性と効率性を両立させる「Transformerの後継」としての研究が加速しています。