モノセマンティシティとポリセマンティシティ（モノセマンティシティとポリセマンティシティ）
ニューラルネット内の個々のニューロン/特徴が「単一概念のみを表現（モノセマンティック）」か「複数概念を重ね合わせで表現（ポリセマンティック）」かを区別する概念。SAE研究の中心的課題。
モノセマンティシティ vs ポリセマンティシティ
ニューラルネットワークを「解釈可能」にするには、内部の各ユニット（ニューロン）がどんな概念を表しているかを理解する必要がある。しかし現実はそう単純ではない。
モノセマンティック（Monosemantic） : 1つのニューロン/特徴が1つの概念のみに反応する。 例: 「犬」という入力でのみ強く発火するニューロン。
ポリセマンティック（Polysemantic） : 1つのニューロン/特徴が複数の無関係な概念に反応する。 例: 「犬」「数学記号 ∑」「韓国語の助詞」に同時に強く反応するニューロン。
なぜポリセマンティシティが生じるか
Superposition仮説（Elhage et al., 2022）による説明:
モデルは利用可能なニューロン数（d_model）を超える数の概念を圧縮して格納するため、ほぼ直交した方向ベクトルの重ね合わせで表現する
- 人間の脳にはおよそ860億のニューロンがあるが、GPT-4でさえ最大約9,600万のパラメータ行ごとのニューロンしかない
- 学習データには数兆のトークンに渡る膨大な概念が存在
- 結果: 限られた次元数に多数の概念を詰め込む「圧縮表現」が生まれる
ポリセマンティシティの具体例
Anthropic Claude解析（2023「Softmax Linear Units」論文）:
ニューロン #7422 の主要活性化入力:
- "Donald" (人名、政治家文脈)
- "McDonald" (ファストフード)
- "McDonald" (スコットランド姓)
- 統計的には「Donald Trump」と「Old MacDonald」が最大寄与
このニューロンは「固有名詞でMcDonaldを含む」という共通点があるが、意味的には全く別概念が混在している。
Anthropic Claude 3 Sonnet解析（2024）:
- 計400万個以上の特徴をSAEで同定
- 約60%がモノセマンティックに解釈可能
- 残り40%は複数概念の混在（ポリセマンティック）
モノセマンティシティへの経路: SAE
Sparse Autoencoder（SAE）はポリセマンティックな残差ストリームをモノセマンティックな特徴に分解するツール。
| 段階 | 手法 | 結果 |
|---|---|---|
| 入力 | 原ニューロン（ポリセマンティック） | d_model次元の混合ベクトル |
| SAEエンコーダ | 疎な線形変換 | d_sae次元（d_sae >> d_model）の疎ベクトル |
| SAEデコーダ | 再構成 | 元のベクトルを近似復元 |
| 出力 | SAE特徴 | 各特徴が単一概念に対応（モノセマンティック化） |
代表的なSAEライブラリ:
- SAELens (Joseph Bloom): GPT-2/Gemma対応、最もよく使われるPyPIライブラリ
- Neuronpedia: 発見済み特徴のデータベースと可視化プラットフォーム
- Anthropic SAE: Claude 3向けの非公開版SAE（一部特徴を外部公開）
測定指標
モノセマンティシティ指数の定量化:
| 指標 | 概要 | 理想値 |
|---|---|---|
| Sparsity (スパース性) | 発火頻度の低さ（ほとんどの入力でゼロ） | <1%の入力で発火 |
| Consistency Score | 同一特徴が活性化する入力の意味的一貫性 | >0.7 |
| Alive Rate | 訓練後に実際に使われる特徴の割合 | 60〜80% |
研究フロンティア（2025〜2026）
1. End-to-End SAEトレーニング Anthropicの「End-to-end sparse dictionary learning」: SAEをモデルと同時訓練し解釈性と性能を両立。
2. Jumbo SAE
- GPT-4級モデルへの適用（1億以上の特徴）
- 現在のSAEの限界はGPT-2~Llama-7B規模
3. Cross-model Universality LlamaとMistralで同一の「Harry Potter特徴」「DNA特徴」が発見され、概念の普遍性を示唆。
FAQ
Q: ポリセマンティシティはモデルの欠陥？ 欠陥というより合理的な圧縮戦略。有限のパラメータで無限の概念を扱うには必然的な仕組み。
Q: ポリセマンティシティがなければ安全性は保証される？ モノセマンティックな特徴がわかれば制御はしやすくなるが、概念間の相互作用は別の問題として残る。
Q: 完全モノセマンティックなモデルは作れる？ 理論的にはd_model >> 必要概念数ならば可能だが、実用的な大規模モデルでは非現実的。SAEでの「事後分解」がより現実的なアプローチ。