機械的解釈性（サーキット解析）（キカイテキカイシャクセイサーキットカイセキ）

機械的解釈性：サーキット解析

機械的解釈性（Mechanistic Interpretability, MI）のサーキット解析は、LLMの特定の動作を実装する最小の計算構造（サーキット）を、因果介入実験を通じて特定する研究手法。Anthropicのインタプリタビリティチームが「Transformer Circuitsスレッド」として主導的な研究を公開している。

サーキットの定義

サーキット = モデルの特定の動作（入力→出力のマッピング）を実装する、Attentionヘッドとかつてのアクティベーションの有向グラフ。

数学的には：

• ノード: Attentionヘッド、MLPレイヤー、位置埋め込み
• エッジ: 情報の流れ（あるコンポーネントの出力が別のコンポーネントの入力へ）
• スコア: サーキット除去時の性能低下量

主要な手法

Activation Patching（アクティベーションパッチング）:

1. クリーン入力とコラプト入力でモデルを実行
2. 特定コンポーネントのアクティベーションをクリーン→コラプトに置換
3. 出力の変化量で各コンポーネントの因果的寄与を測定

Path Patching（パスパッチング）:

• エッジ（コンポーネント間の特定の情報経路）単位で因果的寄与を測定
• サーキットの精密な境界を特定できる

Attention Knockout:

• 特定のAttentionヘッドを無効化し、タスク性能への影響を測定

代表的なサーキット発見の例

1. Induction Heads（Olsson et al., 2022） 「[A][B]...[A]→[B]」パターンを学習するサーキット。In-Context Learningの主要機構として特定。全Transformerに普遍的に存在する2ヘッドのサーキット。

2. Indirect Object Identification（Wang et al., 2022） 「Mary and John went to the store. Mary gave the ball to」に続けて「John」を出力する動作を実装する26のAttentionヘッドからなるサーキットを完全特定。GPT-2 Smallで解明。

3. Modular Arithmetic（Nanda et al., 2023） 「17 + 28 mod 13 = ?」を解くサーキットを解明。モデルがフーリエ変換的な周期関数表現を内部で使用していることを発見（Grokking現象の解明）。

4. Docstring Circuit（Heimersheim & Nanda, 2022） Pythonのdocstring生成に使われるサーキット。コードのコンテキスト理解に関与するAttentionヘッドを特定。

ツール・ライブラリ

• TransformerLens (EleutherAI): サーキット解析の標準ライブラリ、Activation Patching内蔵
• Baukit: Meta ResearchによるMI研究ツール
• nnsight: MITのNdifGroup製、複雑な介入実験向け
• Neuroscope (Anthropic公開): ニューロン単位の活性化可視化

jisaku.comでの関連性

ローカルLLM研究者向け：RTX 4060（VRAM 8GB）以上があれば、TransformerLensを使ってGPT-2やGemma 2 2B等の小型モデルでサーキット解析を自分で実行できる。「自作PCでAI解釈性研究を始める」入門として、Neel Nandaが公開する「200のConcrete Open Problems in Mechanistic Interpretability」が参考になる。高VRAM（RTX 4090の24GB等）を搭載した自作PCであれば、より大型モデル（7B〜13B）のサーキット解析が現実的に可能。