リニアプローブ（LLM解釈可能性）（リニアプローブ）

リニアプローブ（Linear Probe）とは、LLMの中間層における活性化ベクトルを入力として、線形分類器（ロジスティック回帰やSVM）を訓練することで、モデルが内部的に特定の概念をエンコードしているかを検証する手法である。Alain & Bengio（2017）が提唱し、現在ではLLM解釈可能性研究の基本ツールとなっている。

概要と原理

リニアプローブの基本的な考え方は単純である。もしLLMの中間層活性化から「文の真偽」「テキストの感情」「有害性」といった概念を線形分類器で高精度に予測できるなら、モデルはその概念を内部表現として線形にエンコードしていると推定できる。

具体的な手順は以下の通りである：

1. データ準備: 対象概念のラベル付きデータセットを用意する（例：真の文と偽の文各500件）
2. 活性化抽出: 各データをLLMに入力し、指定した中間層の活性化ベクトルを記録する
3. 分類器訓練: 抽出した活性化ベクトルとラベルの対応を線形分類器で学習する
4. 精度評価: テストセットでの分類精度が高ければ、その層にその概念の線形表現が存在すると結論する

層ごとの概念検出精度

Marks et al.（2024）の研究では、Llama 2-13Bの各層でリニアプローブを訓練し、概念の検出精度が層によって大きく異なることを示した。

この結果は、LLMが浅い層で低次特徴（言語、品詞）を、深い層で高次特徴（有害性、文脈依存概念）を段階的にエンコードしていることを示唆する。

プロービングの種類

リニアプローブにもいくつかのバリエーションが存在する：

• Logistic Regression Probe: 最も基本的な線形プローブ。正則化パラメータの選択が重要
• Mass Mean Probe: クラスごとの活性化平均ベクトルの差を方向ベクトルとして使用。訓練不要で高速
• CCS（Contrast-Consistent Search）: Burns et al.（2023）提唱。ラベルなしデータのみで真偽方向を発見する教師なし手法
• Non-linear Probe（MLP Probe）: 非線形分類器を使用。精度は上がるが「線形に表現されている」という結論が導けなくなる

アクティベーション・ステアリングとの関係

リニアプローブで検出された概念方向ベクトルは、アクティベーション・ステアリングの「操作対象」として直接利用できる。プローブで「有害性方向」を特定し、推論時にその方向を減算すれば有害出力を抑制できる。このように、プローブは「検出」、ステアリングは「制御」という相補的な関係にある。

Li et al.（2023）のITI（Inference-Time Intervention）は、まさにこの手順を体系化した手法である。TruthfulQAデータセットでプローブを訓練し、特定した真偽方向ベクトルを推論時に加算することで、幻覚率を大幅に削減した。

限界と注意点

• 線形性の仮定: プローブが低精度でも、概念が「存在しない」とは言えない。非線形にエンコードされている可能性がある
• プローブの過学習: 高次元の活性化ベクトル（4096次元以上）に対して少数のラベルデータで訓練すると、スプリアスな相関を学習するリスクがある
• 因果性の欠如: プローブは「概念と相関する方向が存在する」ことを示すが、その方向がモデルの出力に因果的に寄与しているかは別問題である

よくある質問（FAQ）

Q1: リニアプローブの訓練にはどの程度のデータが必要か？ A: 一般的に各クラス500-2000件程度のラベル付きデータで十分な精度が得られる。CCSのような教師なし手法であればラベルデータは不要である。

Q2: プローブはどのLLMにも適用できるのか？ A: 中間層の活性化にアクセスできるオープンウェイトモデルであれば適用可能である。Llama、Mistral、Gemma、Qwen等で広く検証されている。API経由のクローズドモデルには適用できない。

Q3: プローブとSAEはどう使い分けるのか？ A: プローブは「特定の概念がどの層にあるか」を迅速に特定する手法、SAEは「その層にどのような概念群が存在するか」を網羅的に列挙する手法である。プローブは仮説検証型、SAEは仮説生成型と位置づけられる。

まとめ

• リニアプローブはLLMの内部概念表現を検出する基本的かつ強力な手法
• 層ごとに検出できる概念が異なり、LLMの階層的な知識構造を明らかにする
• 検出した方向ベクトルはアクティベーション・ステアリングの操作対象として直接活用できる
• 線形性の仮定や因果性の問題など、解釈には注意が必要