Llama 4 Scout アーキテクチャ（ラマフォースカウトアーキテクチャ）

Llama 4 Scout アーキテクチャ概要

Llama 4 ScoutはMetaが2025年4月5日にリリースしたMixture-of-Experts（MoE）モデルです。同日公開のLlama 4 Maverick（17B×128専門家）と並んで、Llama 4シリーズのエントリーモデルとして位置づけられています。

主要技術仕様

革新的アーキテクチャ要素

iRoPE（Interleaved RoPE / No Position Encoding）

iRoPEはLlama 4で初採用されたポジションエンコーディング手法です。

• RoPEレイヤー: 通常の回転位置エンコーディングを適用するレイヤー
• NoPEレイヤー: 位置エンコーディングを完全に省略するレイヤー
• この2種類を交互（Interleaved）に配置することで、訓練時の256Kコンテキストを推論時10Mまで外挿可能

超長コンテキストの動画理解・長文書処理で従来のRoPEスケーリング手法（YaRN/LongRoPE等）を上回るとMetaが発表。

Early Fusion マルチモーダル設計

Llama 4はLlama 3.2のようにテキストモデルに視覚エンコーダを「後付け」する方式（Late Fusion）ではなく、訓練初期からテキストと画像を統合するEarly Fusionを採用しました。

メリット：

• テキスト・画像の相互作用が訓練を通じて最適化される
• 視覚トークンとテキストトークンが同じKVキャッシュに格納され、クロスモーダルなアテンションが自然に学習される

Mixture-of-Experts（MoE）設計

Scoutは各Transformerレイヤーで16専門家中2専門家をアクティブ化するスパース活性化設計です。

• 総109BパラメータのうちForward passで使用するのは17Bのみ
• 専門家ルーティングはTop-2 Gatingを使用
• MoEレイヤーとDense FFNレイヤーを一定比率で交互配置

Multi-Token Prediction（MTP）

Llama 4はMTPを採用し、訓練時の学習効率向上と推論時の投機的デコーディングによるスループット改善を実現しています。

Llama 4 Maverick との比較

利用環境

Meta公式ではHugging FaceおよびMeta.aiで公開。llama.cpp対応GGUFが公開され、MacBook Pro（M3 Max）やWSL2環境でのローカル実行も可能。Ollama llama4:scoutタグでワンコマンドインストール対応。