MEGALODON（メガロドン）

MEGALODON とは

MEGALODONはMeta AIが2024年に発表した、Transformerに代わる新しいシーケンスモデルアーキテクチャです。MEGA（Moving Average Equipped Gated Attention）を大規模言語モデルスケールへ拡張したもので、指数移動平均（EMA）とゲート付きアテンションの組み合わせにより、Transformerの二乗計算コストを回避しながら高い表現力を維持します。

技術的構成要素

1. 多次元複素数EMA（MD-EMA）

MEGALODONの中心となるのは、多次元複素数EMAです。

• 複素数の回転特性により豊かな周期的・振動的パターンを捕捉
• 計算量はO(n)—系列長に対して線形
• 局所的（短距離）依存関係を効率的に学習

2. 単一ヘッドゲート付きアテンション

EMAで局所情報を集約した後、シングルヘッドのゲート付きアテンションでグローバル依存関係を捕捉します：

• EMAの出力を使ってアテンションのキー・クエリを形成
• ラプラシアンカーネルを使った数値安定なアテンション計算
• 系列全体にわたる長距離情報の統合

3. チャンク付きアテンション（長系列への対応）

非常に長い系列では、系列をチャンクに分割してアテンションを適用します：

• チャンク内はフルアテンション
• チャンク間の情報はEMAのリカレント状態で伝播
• O(nC)の計算量（Cはチャンクサイズ）

MEGALODONとMEGAの関係

MEGALODONではMEGAからいくつかの重要な改良を加えています：

• 事前正規化（Pre-normalization）の導入
• TimestepNorm：系列の位置に応じた正規化
• 重みの初期化とスケーリングの見直し

実験結果

MEGALODON 7Bの言語モデリング性能はLlama 2 7B（Transformer）を上回ることが示されています：

位置づけと他の線形モデルとの比較

実用上の課題

• Flashアテンション相当の最適化カーネルが整備途上（2024年時点）
• コミュニティエコシステム（HuggingFace統合等）はTransformerより未成熟
• 訓練安定性の確保には専用ハイパーパラメータ調整が必要

まとめ

MEGALODONはEMAの線形効率とアテンションの表現力を組み合わせ、7Bスケールで初めてTransformerの代替として競争力ある性能を示したアーキテクチャです。Mamba・RWKVと並んでO(n²)問題を克服する有望なアプローチとして注目を集めています。