Superposition仮説（スーパーポジションかせつ）

Superposition仮説

Superposition（スーパーポジション、重ね合わせ）仮説は、Anthropicが2022年に発表した「Toy Models of Superposition」論文において詳細に分析した概念で、ニューラルネットワークが実際のニューロン数（次元数）をはるかに超える数の特徴量を、相互に干渉する形で圧縮保持できるとする理論。

直感的な理解

n次元の空間（ニューロン数）に、n個より多くの特徴を保存しようとすると、通常は情報が衝突して失われる。しかしSuperpositionはこの制約を回避するトリックを利用する。

鍵となるアイデア: 高次元空間では、ランダムに選んだベクトルがほぼ直交する確率が高い（Johnson-Lindenstrauss補題）。したがって、多くの特徴ベクトルを「ほぼ直交」する方向に割り当てれば、干渉を最小限に抑えつつ圧縮保持できる。

Superpositionが生じる条件

Anthropicの実験から、Superpositionが発生しやすい条件が明らかになった：

1. 特徴のスパース性: 各特徴が同時に活性化する確率が低いほど（スパースであるほど）Superpositionが有利
2. 特徴の重要度の不均一性: 一部の重要な特徴は専用ニューロンで表現し、重要度の低い多数の特徴をSuperpositionで圧縮
3. モデルの容量不足: 特徴数 >> ニューロン数の条件下でSuperpositionが必然的に生じる

Toy Modelによる実験証拠

5次元のニューロン層で20個の特徴を学習させる実験：

• 学習後、モデルは20方向のほぼ直交する特徴方向ベクトルを学習
• スパース性の高い特徴は「重なり合わせて」干渉を許容
• 重要度の低い特徴は他の特徴と対称的に配置（Antipodal pair）

Polysemanticity（多義性）との関係

Superpositionの結果として、単一のニューロンが複数の無関係な概念に対して活性化する「Polysemanticity（多義性）」が生じる：

• 例: あるニューロンが「猫」「ヒョウ柄」「毛皮製品」すべてに反応
• これは各特徴が複数のニューロンにわたって分散表現（Distributed Representation）されているため
• 単一ニューロンの解析から意味のある概念を読み取ることが困難になる

Superpositionへの対処法

1. Sparse Autoencoder (SAE) 最も有力なアプローチ。圧縮されたSuperposition表現を、より高次元のスパース空間に「展開」して個々の特徴を同定する。

2. Monosemantic Neurons の優先的使用 一部のニューロンはほぼ単一の概念のみに対応（Monosemantic）。これらを優先的に解析することでSuperpositionを回避。

3. 特徴解離（Feature Disentanglement） モデルアーキテクチャや学習手法を改善して、Superpositionが生じにくい表現を学習させる。

なぜ重要か

Superposition仮説の理解はAI安全にとって重要：

• モデルが危険な概念を「隠して」保持できる可能性
• 表面的な解析（ニューロン単位）では危険な特徴を見落とすリスク
• SAEによる解析でこそ真の内部表現が理解できる

Anthropicは2024年、Claude 3 SonnetへのSAE適用でSuperpositionを「展開」し、100万以上の解釈可能な特徴を発見することに成功している。