スパース自動符号化器（LLM解釈性）（スパースジドウフゴウカキ）
LLMの内部活性化をスパースな単概念特徴に分解し、ニューラルネットワークの内部表現を人間が解釈可能な形に変換する解釈性手法。Anthropicの研究でClaude 3 Sonnetの活性化空間に数百万の意味的特徴を発見。
スパース自動符号化器（SAE）とLLM解釈性
スパース自動符号化器（Sparse Autoencoder, SAE）は、大規模言語モデル（LLM）の内部活性化を人間が解釈可能な形に分解するための中心的な解釈性ツールとして、2024〜2025年に急速に普及した。
基本原理
SAEはエンコーダとデコーダからなる教師なし学習モデル。LLMの残差ストリーム（residual stream）から取り出した活性化ベクトル x を受け取り、スパースな特徴ベクトル f に圧縮してから元の空間に再構成する。
x → Encoder → f (スパース) → Decoder → x'（再構成）
損失 = ||x - x'||^2 + λ||f||_1
L1正則化がスパース性を誘発し、各入力に対してほんの数個の特徴だけが活性化する。この「少数の概念のみ活性化」という性質が解釈性の鍵となる。
Superposition仮説とモノセマンティック性
LLMのニューロンは一般に複数の無関係な概念を同時表現する（ポリセマンティック性）。SAEはこれを解決し、各特徴が単一概念のみ表現するモノセマンティック性を達成しようとする。Anthropicは2022年に「Toy Models of Superposition」でこの問題を理論化し、2024年にClaude 3 SonnetのSAE研究で実証した。
Anthropicの大規模SAE研究（2024）
2024年5月、AnthropicはClaude 3 Sonnetに対してSAEを適用し、12億を超える潜在特徴を発見・公開した。代表的な発見：
- 「Dark Web」特徴: ダークウェブ関連トークンに強く反応
- 「ブラックホール」特徴: 天体物理学的概念のクラスタ
- 「バイアス」メタ特徴: モデルの倫理的判断に関与する特徴群
- 感情特徴: 「恐怖」「喜び」等の感情表現に対応する特徴
この研究は「Claude内部で何が起きているか」を初めて組織的に明らかにした点で画期的とされ、AI安全性研究に大きな影響を与えた。
主要なSAE実装・研究
| 研究 | 組織 | 特徴 |
|---|---|---|
| Toy Models of Superposition | Anthropic | SAEの理論的基盤確立 |
| Monosemanticity in Transformers | Anthropic | 実際のモデルでの検証 |
| Scaling SAEs | Anthropic | Claude 3 Sonnetへの大規模適用 |
| SAEs on Gemma | Google DeepMind | OSSモデルへの展開 |
| SAELens | Joseph Bloom | OSS SAE学習・解析ライブラリ |
残課題と限界
- 計算コスト: 大規模SAEの学習・保存は膨大なメモリを要する
- 特徴の意味解釈: 発見された特徴が本当に人間的概念に対応するか検証困難
- 因果性の不明確さ: 特徴と実際の予測への影響が対応しているか未解決
- 多層SAEの必要性: 単一層のSAEでは全体像を捉えられない
jisaku.comでの関連性
PC自作ユーザーにとってSAE研究は、ローカルLLM（ollama/LM Studio）の動作原理を理解する助けとなる。ローカルで動かすGemma 3やLlama 3のSAE特徴を自分で可視化するSAELensが2025年には一般利用可能。GPU（RTX 4060以上）でSAEの推論・解析が実行できる。VRAM 8GBあれば7B以下モデルでSAE学習・特徴可視化の実験環境を構築可能。