Mechanistic Interpretability（メカニスティックインタープリタビリティ）
LLMの内部計算の仕組みを回路レベル・特徴レベルで解明しようとするAI解釈可能性研究の一分野。ニューラルネットワークが何をどのように学習しているかを逆工学的に明らかにする。
Mechanistic Interpretability
Mechanistic Interpretability（メカニスティック解釈可能性）は、ニューラルネットワーク、特にLLMが何をどのように計算しているかを、アルゴリズムレベルで逆工学的に解明しようとするAI解釈可能性研究の一分野。単に「入力Xを与えたら出力Yが出る」という観察にとどまらず、「なぜそうなるのか」をモデルの重み・活性化パターン・注意機構の動作から説明することを目指す。
研究の背景と動機
LLMの能力向上に伴い、モデルが実際に何を学習しているかへの理解が安全性の観点から重要になってきた。モデルが有害な行動をとる仕組みを理解できれば、より効果的な安全対策が設計できる。また、モデルの能力の限界や失敗モードを予測するためにも内部動作の理解が不可欠。
主要概念
1. 回路（Circuits） モデル内の特定の計算タスクを担う注意ヘッドやMLP層の部分集合を「回路」として特定・記述する。例：GPT-2において「The Colosseum is in {Rome}」のような事実補完を担う回路の同定。
2. 特徴（Features） 個々のニューロンや方向ベクトルとして表現される、モデルが学習した概念。単一のニューロンが特定の概念に対応するケースと、複数のニューロンにわたって分散表現されるケースがある。
3. 人工特徴（Synthetic Features） Sparse Autoencoder（SAE）等を用いて、モデルの残差ストリームから線形分離可能な「人工特徴」を抽出する手法。これにより個々の概念をより明示的に同定できる。
代表的な発見
- Induction Heads（帰納頭）: 多くのTransformerモデルに共通して存在する注意ヘッドのパターンで、in-context learningの根幹機能を担う。[A][B]...→[A]というパターンを学習して[B]を予測する。
- Curve Detectors: CNNの早期層が画像の曲線を検出する特徴量を学習することを回路分析で確認。
- Superposition: ニューロン数より多くの特徴量をモデルが圧縮して保持する「重ね合わせ現象」の発見。
主要研究機関と論文
- Anthropic: "Zoom In: An Introduction to Circuits"（2020）、"Toy Models of Superposition"（2022）、"Scaling Monosemanticity"（2024）
- DeepMind: "Progress measures for grokking via mechanistic interpretability"
- EleutherAI: TransCoder等のMech Interp研究
- オープンコミュニティ: TransformerLens、ARENA（Alignment Research Engineer Accelerator）
ツールと実装
TransformerLens（Neel Nanda作）がMech Interp研究の標準ツールとして広く使われている：
import transformer_lens
model = transformer_lens.HookedTransformer.from_pretrained("gpt2")
# 特定レイヤーの活性化を取得
logits, cache = model.run_with_cache("The Eiffel Tower is in")
print(cache["blocks.0.attn.hook_attn_weights"].shape)
現在の限界
- スケールの問題: GPT-2（117M）レベルは解析可能だが、大規模モデルでは回路分析が指数関数的に困難
- 多義性（Polysemanticity）: 単一のニューロンが複数の無関係な概念に反応する多義性問題
- 動的性: 文脈によって活性化パターンが変わる動的な挙動の解析
Mechanistic Interpretabilityは2025年時点でAI安全研究の中心的トピックとなっており、Anthropicは全社的なリソースの相当部分をこの研究に投入している。