从 Probe 到 Steering：LLM 内部机制研究（Mechanistic Interpretability）全景图

 

1、AI的发展：符号主义和连接主义！因为现实世界复杂多样，符号主义无法穷举所有规则，所以研究方向转为连接主义，神经网络就是连接主义的代表方案，其核心功能：在输入和输出之间建立映射关系！神经网络内部是由大量神经元组成的，这些神经元从表面看，都是浮点数，存储在矩阵的，那么问题来了，大量的神经元组成了hidden layers： 

  • 怎么“窥探”这些神经元？ 

  • 神经元都是怎么理解世间万物的了？ 

2、从 Probe 到 Steering：LLM 内部机制研究（Mechanistic Interpretability）全景图

黑盒正在被打开。

如果说过去的可解释 AI 研究回答的是“模型为什么输出这个结果”，那么近几年兴起的 Mechanistic Interpretability（机制可解释性） 更进一步，它试图回答：

模型内部到底执行了什么算法？

过去几年，Anthropic、DeepMind、OpenAI 等机构围绕这一问题形成了一套逐渐成熟的技术路线。从 Othello-GPT、J-space，到 Sparse Autoencoder、Circuit Discovery，再到 Claude 的《On the Biology of a Large Language Model》，研究重点已经从“观察神经元”发展到“逆向整个推理程序”。

本文整理目前最主流的研究框架，并按照观察 → 分解 → 因果验证 → 操控的逻辑，梳理六个阶段的发展脉络。

目录

  • 为什么需要 Mechanistic Interpretability？

  • 六阶段全景图

  • 第一阶段：Probe（探针）

  • 第二阶段：Lens（Logit Lens、J-space）

  • 第三阶段：Feature（SAE、Transcoder）

  • 第四阶段：Circuit（Activation Patching、ACDC）

  • 第五阶段：Steering（Representation Engineering）

  • 第六阶段：高级方向（PHi、自动化解释）

  • 总结：从观察到控制

为什么需要 Mechanistic Interpretability？

传统可解释 AI主要关注输入和输出之间的关系。

例如：

Grad-CAM: A beginner’s Guide. Grad CAM stands for Gradient-weighted… | by Muskan Bhandari | Medium

CNN Explainers | Data Mining

An Introduction to Saliency Maps in Deep Learning - MarkTechPost

  • Grad-CAM

  • Saliency Map

  • SHAP

  • LIME

这些方法能够回答：

为什么模型认为这是一只猫？

但是回答不了：

模型内部到底发生了什么计算？

Chris Olah 提出了一个更激进的目标：

像逆向 CPU 一样逆向神经网络。

后来，这一方向被命名为 Mechanistic Interpretability（机制可解释性）。

六阶段全景图

整个研究路线可以总结成：

对应的研究问题分别是：

阶段

核心问题

Probe

模型有没有编码这个信息？

Lens

中间层现在“在想什么”？

Feature

信息被拆成了哪些可解释特征？

Circuit

这些组件真的参与计算吗？

Steering

能否主动控制模型行为？

PHi

内部计算复杂度如何变化？

这并不是严格的流水线，而是目前社区最常见的研究工作流：先观察，再验证，最后操控。

第一阶段：Probe（探针）

核心问题：模型内部有没有编码某个概念？

The emergent world models of OthelloGPT are linearly represented. We... | Download Scientific Diagram

SSL Linear Probing

Large Language Model: world models or surface statistics?

这是整个领域最容易入门的方法。

基本思想

假设某一层 Hidden State 为：

ht​

训练一个非常小的分类器（通常是线性层）。

输入：

ht​

输出：

你关心的概念。

例如：

  • 当前棋盘状态；

  • 情感；

  • 是否是 Python；

  • 是否包含日期。

如果 Probe 能预测成功，就说明：

Hidden State 中已经编码了这些信息。

Othello-GPT：最经典案例

训练目标只有一句话：

根据棋步预测下一步。

输入：

D3 → C5 → F6 → E3

模型从未见过棋盘。

但 Probe 却能够恢复：

  • 黑子

  • 白子

  • 空格

Large Language Model: world models or surface statistics?

Actually, Othello-GPT Has A Linear Emergent World Representation — LessWrong

The emergent world models of OthelloGPT are linearly represented. We... | Download Scientific Diagram

说明：

Hidden State 自发形成了棋盘世界模型。

这也是 World Model 研究的重要起点。

优缺点

优点：

  • 简单；

缺点：

Probe 只能说明信息存在，不能证明模型真的依赖它计算。

因此才有后面的因果验证。

第二阶段：Lens（Logit Lens、J-space）

核心问题：模型这一层“正在想什么”？

相比 Probe，Lens 更直观。

它直接把中间层激活投影回词表。

Inside the Prediction Layers of Large Language Models | by Zaina Haider | Medium

A Mathematical Framework for Transformer Circuits | Arshia Soltani Moakhar

Claude AI Created Something Anthropic Never Designed

Logit Lens

流程：

例如：

输入：

The capital of France is

不同层可能已经开始预测：

Layer

Top Token

6

Europe

12

Paris

18

Paris

于是可以观察：

哪一层开始知道答案。

Tuned Lens

Logit Lens 有一个问题。

中间层分布和最终层分布不同。

于是 Tuned Lens 为每一层学习一个小映射。

效果：

  • 更准确；

  • 更稳定。

Jacobian Lens 与 J-space

Anthropic 后来提出：

不要只看 Token。

而要看：

语义方向。

例如：

  • dog

  • 狗

  • 犬

都投影到同一个方向。

这就是：

J-space（语义空间）。

相比 Logit Lens：

J-space 更关注抽象概念，而不是具体词。

第三阶段：Feature（Sparse Autoencoder）

核心问题：为什么一个神经元会表示很多概念？

这是近两年最重要的发展。

The AI Microscope — A Visual Walkthrough

Sparse Autoencoders: Decomposing Superposition | Learn Mechanistic Interpretability

SAEs

背景：Polysemanticity

研究者发现：

同一个神经元可能同时响应：

  • Python；

  • DNA；

  • 韩文；

  • HTTP。

这种现象叫：

Polysemanticity（多义神经元）。

说明：

神经元不是最小语义单位。

Sparse Autoencoder（SAE）

SAE 的核心思想：

把混乱的 Hidden State 拆成大量稀疏特征。

例如：

Feature

含义

F123

Python

F502

JSON

F801

Golden Gate Bridge

Anthropic 在 Claude 上已经发现了数千万个可解释特征，并证明很多特征具有单一语义（Monosemantic Feature）。

Transcoder

后来研究发现：

MLP 本身也可以被替换成：

可解释替身模型（Transcoder）。

这样可以直接追踪：

Feature 如何跨层传播。

第四阶段：Circuit（因果验证）

核心问题：模型真的在使用这些特征吗？

这是 Mechanistic Interpretability 最重要的分水岭。

Elements Of Mechanistic Interpretability: From Observation to Causation | Sifal Klioui

NeurIPS Poster Grokking of Implicit Reasoning in Transformers: A Mechanistic Journey to the Edge of Generalization

Mechanistic Interpretability for AI Safety — A Review | Leonard F. Bereska

6

Activation Patching

流程：

  1. 正常运行模型。

  2. 保存某层 Activation。

  3. 替换成另一条样本的 Activation。

  4. 看输出是否改变。

如果答案改变：

说明：

这里具有因果作用。

Path Patching

不仅替换节点。

还替换：

整条计算路径。

Circuit

多个组件组成：

Name Head
    ↓
Pronoun Head
    ↓
Output

这就是：

Circuit（计算电路）。

Chris Olah 提出的 Circuit 分析后来发展成了目前主流的因果分析框架。

维基百科+1

ACDC

随着模型越来越大。

后来出现：

Automated Circuit Discovery（自动找电路）。

让算法帮助寻找：

哪几个 Head 和 Feature 共同完成计算。

第五阶段：Steering（表示工程）

核心问题：既然理解了机制，能不能主动控制它？

AI Steering Through Activation Engineering | Amit Kumar posted on the topic | LinkedIn

Semantic Vector Editing in Transformer Hidden States | AI Tutorial | Next Electronics

Nick Crispino

5

这是目前最有工程价值的一层。

Steering Vector

假设找到了：

诚实方向。

那么：

h′=h+αvh'=h+\alpha vh′=h+αv

模型可能：

  • 更诚实；

  • 更拒答；

  • 更喜欢代码。

ITI（Inference-Time Intervention）

更进一步。

推理时动态修改 Hidden State。

无需重新训练模型。

Representation Engineering

现在很多工作已经把：

  • SAE Feature；

  • Steering Vector；

  • ITI；

统一到：

Representation Engineering（表示工程）。

目的：

修改内部表示，而不是修改参数。

第六阶段：高级方向（PHi、自动化解释）

这一层更多是补充工具。

PHi：Hidden State Prediction

PHi 提出一个新问题：

模型什么时候真的在思考？

核心公式：

DKL(q(zt∣ht)∣∣p(zt∣z<t))D_{KL}(q(z_t|h_t)||p(z_t|z_{<t}))DKL(q(zt∣ht)∣∣p(zt∣z<t))

意思：

比较：

  • 当前真实 Hidden；

  • 历史能够预测的 Hidden。

KL 越大：

说明：

出现了更多新信息。

因此：

PHi 更像：

模型内部计算复杂度计。

自动化解释

随着 Claude 等模型越来越大。

研究者开始让 AI 帮 AI 做解释。

例如：

  • 自动生成 Feature 标签；

  • 自动构建 Attribution Graph；

  • 自动发现 Circuit。

Anthropic 最新工作已经能够自动恢复较复杂的计算图，而不仅仅是单个神经元。

Learn Mechanistic Interpretability+1

六阶段之间的关系

整个领域其实遵循一个统一规律。

阶段

关键词

Probe

有没有？

Lens

在想什么？

SAE

拆成什么？

Circuit

真在用吗？

Steering

能控制吗？

PHi

计算有多复杂？

可以发现，这条路线几乎和科学研究的方法论完全一致：

观察 → 建模 → 验证 → 干预。

写在最后

Mechanistic Interpretability 最大的变化，不是发明了某一个新算法，而是研究视角发生了转变：

  • 2018 年以前：关注输入和输出。

  • 2020 年以后：关注神经元和注意力头。

  • 2023 年以后：关注 Feature 和 Circuit。

  • 2025 年以后：开始恢复完整算法，并尝试主动控制内部表示。

Chris Olah 曾把这一方向比作“给 AI 做 MRI”。今天来看，这个比喻已经越来越贴切：我们不仅能看到模型哪些区域在“发光”，还能逐渐追踪信息如何流动、哪些电路真正参与推理，以及如何在不修改模型参数的情况下改变模型行为。

这也意味着，LLM 正在从“不可解释的黑盒”，逐步变成一个可以被逆向工程的复杂程序——虽然距离完全理解它还有很长的路要走，但这条“观察→分解→验证→操控”的路线，已经成为当前 Mechanistic Interpretability 最主流、也最值得学习的一条技术主线。

 

posted @ 2026-08-30 20:06  第七子007  阅读(30)  评论(0)    收藏  举报