ロジットレンズ（ロジットレンズ）

ロジットレンズ（Logit Lens）

ロジットレンズは、LLMのTransformer各層における中間表現を語彙確率として解釈する手法。2020年にnostalgebraistがブログ記事「interpreting GPT: the logit lens」で提案し、機械的解釈性（Mechanistic Interpretability）研究の標準ツールの一つとなった。

動作原理

Transformerの残差ストリームに格納された中間活性化 h_l（第l層の出力）を、最終層で使用するのと同じアンエンベッディング行列 W_U に通して語彙ロジットを計算：

logits_l = LayerNorm(h_l) × W_U
probs_l = softmax(logits_l)

これにより、各層が「その時点でどのトークンを予測しようとしているか」を可視化できる。

観察できるパターン

1. 漸進的精緻化: 浅い層では単純な文法的予測、深い層では意味的に正確な予測
2. 突然の切替: 特定の層でモデルの「意思決定」が突然変化するポイント
3. トークン競合: 複数のトークンが確率を争う層の特定
4. Attention効果の可視化: 特定のAttentionヘッドを無効化した際の予測変化

Tuned Lens（改良版）

2023年にBelroseらが提案した「Tuned Lens」は、各層ごとに専用の変換行列を学習することでロジットレンズの精度を大幅改善。元のロジットレンズが「最終層のunembeddingを直接適用」するのに対し、Tuned Lensは「各層の表現が最終層の表現に変換される様子」を学習した変換行列で補正する。

# Tuned Lens の概念的実装
for layer_idx in range(n_layers):
    h = residual_stream[layer_idx]
    # 学習済み変換行列で補正
    h_tuned = translators[layer_idx](h)
    probs = softmax(layer_norm(h_tuned) @ W_U)

実用ツール・ライブラリ

• transformer-lens: EleutherAI製、ロジットレンズ機能内蔵
• tuned-lens: Belroseらの公式実装（Pythonパッケージ）
• nnsight: MIT NdifGroupの介入ライブラリ、ロジットレンズ対応
• LM Debugger: UIベースの可視化ツール

実験例：GPT-2での観察

GPT-2 Small（12層）でロジットレンズを適用した実験では：

• Layer 1-3: 直後のトークンに近いサブワードを予測（表面的パターンマッチ）
• Layer 6-8: 文脈的に意味のある単語へ移行
• Layer 10-12: 最終的な高精度予測に収束

jisaku.comでの活用可能性

ローカルLLM環境（LM Studio / ollama + RTX 4060以上）でtransformer-lensを使ってGemma 3やMistralのロジットレンズ解析が実行可能。VRAM 8GBあれば7Bモデルまで対応。各層のトークン予測確率の変化を可視化することで、モデルがどの層で「答え」を形成しているかを直感的に理解できる。PC自作者向けには、VRAM容量とモデルの解析可能な層数の関係を把握するのに役立つ（例：8GB VRAMでGemma 3 4Bの28層を全層解析可能）。