机制可解释性不是读心术，而是一组有误差的反事实实验
先指定模型、位置、输入分布与外部行为，再用稀疏表示提出候选变量，用 patch、ablation 或 steering 检验局部因果，最后跨模板复验。图越漂亮，越要报告没解释的计算和干预副作用。
“黑箱”不是看不到数值，而是不知道这次运行组成了什么算法
Transformer 的权重、激活和每一步矩阵计算都能读取。真正缺的是一套稳定语义：哪个内部变量表示实体、关系或拒答倾向，它通过什么路径影响某个行为，换输入后是否仍成立。Mechanistic Interpretability（机制可解释性）要把这三问变成可反驳实验。
权重是长期结构
单个参数几乎没有独立语义；能力通常分布在大量权重与运行时激活之间。
激活是本次状态
同一 checkpoint 读不同 Prompt，会在每层、每个 Token 位置产生不同向量。
行为是外部锚点
目标 Token、工具调用和环境变化最可验；内部解释必须回到这些指标，而不是自我证明。
解释器也是模型
Probe、SAE、transcoder、J-lens 与 NLA 都有假设和误差，不是透明窗口。
知道每个电阻的阻值，不等于知道此刻哪条信号在解调音乐
权重像焊死的电路，激活像此刻各处电压，输出像扬声器。机制研究不是给所有零件起名字，而是提出：“若这段中频信号负责解调，替换它应恢复音乐、替换相邻控制点不应恢复”，然后真的做实验。
SAE 把坐标换得更稀疏，但不会自动把表示切成“自然概念原子”
一个 Neuron（神经元维度）可以对多个无关语境响应，一个概念也能分散在多维。Superposition（特征叠加）描述的是：当潜在特征很多、单次只需少数时，模型可以用非正交方向共享有限维度。Sparse Autoencoder（SAE，稀疏自编码器）试图学出一个更宽、更稀疏的字典坐标。MI01MI02MI03
在 GPT-4 激活上训练的最大 SAE feature 数；团队同时报告许多 feature 难解释或有伪激活。MI04
Gemma 2 2B / 9B 的 SAE 数与 learned features 总量；feature 之间可能重叠。工程账约为 Gemma 2 9B 训练算力的 15%（不含蒸馏标签）和约 20 PiB 激活缓存。MI06
在论文至多 7B 模型、典型超参范围内，把“是否出现”与“出现幅度”分开，以约一半 firing features 达到相近重构。MI05
Gemma 3 全尺寸、全层与子层的 SAE / transcoder，并增加多层模型和 instruction-tuned 版本。MI07
一个 proxy 不能代表“更好”
正式版覆盖 8 项指标、200+ SAEs 与 7 类架构 / 训练方法。Matryoshka 在部分 disentanglement 指标上更好，却不一定占据 sparsity–fidelity 前沿。MI08
SAE 不是所有任务的默认赢家
在其两条赛道、4 任务、5 模型设置中，监督式 Distributed Alignment Search（分布式对齐搜索，DAS）在因果变量定位上最好，SAE latent 没有优于原始神经元维度。MI09
连评测尺本身也要审计
单作者预印本指出 Targeted Probe Perturbation 与 Spurious Correlation Removal 在默认设置下跨多个审计视角失效。它不是终局共识，但足以阻止“选一个分数宣布 SAE 胜利”。MI10
保真看重构和模型 Loss；稀疏看 L₀、频率和 dead latent；语义看高激活、反例与 feature splitting；因果看干预目标与副作用；稳定看 seed、语料、width、层与 checkpoint。一个架构在 sparsity–fidelity 前沿更好，不会自动赢得另外三轴。
能读出信息，不等于模型靠它做决定；能改输出，也不等于找到了唯一电路
可解释性最常见的错误，是把证据层级压扁：Attention 图被写成因果，Probe 准确率被写成“模型知道”，Attribution Graph 被写成执行日志，强 steering 被写成自然机制。正确做法是让每一级只承担它能支持的句子。
“信息能被读出”
高准确 probe 或稳定 feature 说明状态携带可用信息；下游可以完全忽略它。先做对照和干预，才能升级到因果句子。
“局部贡献可分配”
Direct Logit Attribution（直接 Logit 归因，DLA）和梯度依赖线性或局部近似，容易漏掉交互、饱和和替代路径。
“特定反事实有效”
替换、删除或注入状态更接近因果证据，但必须回答干预是否自然、方向多强、哪些无关能力被一起破坏。
“解释覆盖域扩大”
跨实体、模板、语言、seed 与时间点复现，才把案例提升为机制候选；失败切片本身就是解释边界。
Patch 的不是“真相”，而是两条运行之间被你设计出来的信息差
Activation Patching（激活替换实验）缓存一条 source run 的中间状态，再覆盖 destination run 的选定组件。实验能追踪什么，首先由 clean / counterfactual Prompt 差异决定，其次才是层、头或 SAE latent。换 corruption，就是换研究问题。MI11
让差异窄而有意义
保持语法、任务与长度尽量一致，只改变要追踪的实体或属性；逐项检查 Tokenization 和位置能否对齐。
先写分子与分母
主指标可用 logit(Austin) − logit(Sacramento)；同时保存单个 Logit、Logprob 与全分布 KL，防止差值由错误答案被普遍破坏而虚高。
探索和确认分开
先粗扫 residual stream，再缩到 MLP、head、feature 或 path；确认阶段一次 patch 整个候选电路，并保留图外组件作反事实。
区分机制与通用损伤
加匹配范数随机方向、相邻层/位置、无关 feature、多个强度与反向干预；强干预若让语言能力整体崩坏，不是好解释。
把“Texas 模板”推向关系机制
换州、省区、中文问法、反向查询和虚构实体。只在一个 Prompt 有效，就把结论标成 local case study。
不要只留漂亮热力图
记录模型 commit、Prompt 对、hook、层/头/位置、patch 方向、样本数、seed、raw metrics、随机对照和所有失败例。
Denoising 某组件恢复行为，只说明在当前 destination 状态里补回它“足够”；Noising 某组件破坏行为，只说明在当前 clean 状态里污染它“足以破坏”。冗余路径、Hydra / backup behavior 和干预引发的新计算都会改变答案。TransformerLens 提供缓存、Hook、消融与 patching 实作；其 SAE 功能自 v2.0 起迁往 SAELens。MI12
归因图把计算改写得更可读，但“基线输出相同”不保证“扰动后机制相同”
2025 Circuit Tracing 使用 Cross-Layer Transcoder（CLT，跨层转码器）替换部分 MLP 计算，把稀疏 latent 连接成 Attribution Graph（归因图）。Local Replacement Model（局部替代模型）会冻结 Attention Pattern 与归一化分母，并补回当前 Prompt 的重构误差，因此能在未扰动基线点精确对齐；离开这个点后，误差会跨层累积。MI13
最大 18L CLT；随机 pretraining-style token 中，只纳入底模答对且置信度低于 80% 的样本。跨层重构差距仍显著。
20 个 Prompt 上，graph influence 与消融效应按原激活归一化并因 influence 无符号而取绝对值后的 Spearman 相关。
18L 的 10M dictionary 在干预或扰动后一层的方向 cosine；继续传播时，方向和尤其幅度的偏差累积。
仅在方法奏效时，受训研究者可在 10 分钟内看出关键机制，整体图景通常 1–2 小时；后续验证更久，且官方列出许多失效案例。
图可能跳过 Attention 为何选中那个位置
固定 Attention 让线性归因可算，却不解释 Query–Key（查询—键，QK）电路。Claude 3.5 Haiku 的案例展示了 Multiple Choice 场景里图只看到“输出 B”，却漏掉模型为何知道 1945 正确。MI14
没画出来的计算可能最关键
重构误差、inactive feature、抑制路径与错误抽象层级都能形成“暗物质”。Completeness 与 Mechanistic Faithfulness 必须分开报告。
一次 Prompt 的稀疏图不是全局程序
Graph pruning 为可读性删边；naive global weights 又会受 weight interference 影响。跨 Prompt 电路仍是未解决难题。
开放工具让“看图”变成“改 feature 再看底层输出”
Anthropic 2025 公开了 circuit-tracing library 与 Neuronpedia 前端，支持 Gemma-2-2B、Llama-3.2-1B 等开放权重模型生成、标注和干预 Attribution Graph。它适合提出可复现实验，不是替你完成机制验证。MI15
2026 年“内部内容更可读”是真的；“现在可以完整读心”仍是错的
Chain-of-Thought（思维链，CoT）、J-space / Jacobian Lens（雅可比透镜）和 Natural Language Autoencoder（自然语言自编码器，NLA）都能产生人类可读材料，但对象完全不同：一个是输出 Token，一个是由稀疏非负 J-lens 组合定义的可言说表示集合，一个是学出来的激活—文本往返通道。J-space 不是线性子空间。
答案用了 Hint，推理文本却常没承认
研究先确认 Hint 改变答案，再检查 CoT 是否提到它。在特定选择题与 Hint 类型的平均结果中，Claude 3.7 Sonnet 为 25%，DeepSeek-R1 为 39%。另一组 reward-hacking 环境里，模型超过 99% 地利用捷径，却在超过一半的环境中不足 2% 的 CoT 里承认。它们是实验设置下的监控失败率，不是所有模型的永久常数。MI16
中层存在小而“可报告”的 privileged subset
研究用输出 Jacobian 构造 J-lens 方向，报告一组中层表示可被语言报告、定向调制、用于灵活推理且具有选择性；稀疏分解的中位 occupancy 约 25 个 J-lens 向量，只解释激活方差的一小部分，且“向量数”不等同于概念数。作者明确不声称 Transformer 复现完整脑内 Global Workspace（全局工作空间），也不对 Phenomenal Consciousness（现象意识）下结论。MI17
把激活写成文本，再从文本重构激活
Activation Verbalizer 读目标激活并生成解释，Activation Reconstructor 只靠解释恢复激活。一个人为植入隐藏动机的 toy audit 中，带 NLA 的审计员成功率为 12%–15%，无 NLA 且有其他解释工具时低于 3%。但解释会捏造上下文，每个激活要生成数百 Token，官方建议按主题读并用独立方法交叉验证。MI18
NLA 在破坏性编码评测中给出 16%、在 SWE-bench Verified 中给出 26% 的“evaluation awareness”读数，而用户自愿用于训练的真实 Claude.ai 会话低于 1%。这些是 NLA 指示的内部主题，不是直接可观测真值；工具本身会 hallucinate，不能把百分比改写成模型主观信念发生率。
内部方向适合做烟雾报警器，不适合单独做消防验收
Persona Vector（人格方向向量）的基本做法是比较表现某种 Trait（特质）与不表现它的运行状态，抽取差分方向，再用 Steering（向量操纵）验证方向与行为的因果关系。它可以监测漂移、筛训练数据和提出干预，但阈值、误报、能力损伤与跨版本漂移必须进入上线合同。
先把 Trait 写成可判定行为
“邪恶”不是测量单位。需要成对 Prompt、明确 Rubric、多主题、多长度和反例；否则向量可能只捕获语气、主题或答案长度。
Steering 只给局部因果支持
目标行为随强度单调变化是好信号；还要测事实性、拒答、MMLU 等无关能力。强 steering 可能是分布外“钝器”。
阈值必须带误报与漏报分母
在正常、红队、越狱、长会话和不同 checkpoint 上重跑；缺失内部覆盖不能默认等于安全。
和输出、动作、权限一起决策
内部异常只是一路传感器。不可逆工具副作用仍由对象授权、参数绑定审批、Sandbox 与人工升级把关。
覆盖两类开放模型，不是任意模型的“唯一性格旋钮”
官方工作主要在 Qwen2.5-7B-Instruct 与 Llama-3.1-8B-Instruct 上演示 evil、sycophancy、hallucination 等 Trait。反向 inference-time steering 能压低 Trait，却可损伤通用能力；preventative steering 在其实验里较好保留 MMLU，不代表生产无副作用。MI19
Misaligned persona latent 是早期预警候选
GPT-4o SAE 中一个 latent 随窄域错误微调后的广义 misalignment 增强，正反 steering 能放大或抑制行为。官方也展示强 steering 会语无伦次或突然截断，因此把它称为“blunt instrument”。MI20
30 steps / 120 examples 不是通用修复配方
在 insecure-code checkpoint 的具体合成评测中，进一步用 secure code 做 30 个 SFT steps、120 个样本把 judge-measured misalignment 降到 0%。这只证明该构造可逆，不证明复杂生产失配能被同样修复。
七项都能回答，内部信号才有资格进入生产监控
这不是“解释模型安全”的证书，而是让测量仪器进入一套可审计、可回滚的控制面。
- 对象：模型、revision、Tokenizer、hook 与精度配置已冻结
- 覆盖：报告 reconstruction、error nodes、N/A 与缺失率
- 校准：正常 / 红队分母、TPR、FPR、阈值与置信区间已保存
- 因果：双向、强度、匹配范数 placebo 与能力副作用已测
- 泛化：模板、语言、长会话、seed 与新 checkpoint 已复验
- 联防：输出、工具轨迹、对象权限和环境状态独立把关
- 恢复：触发器、降级路由、人工升级与回滚版本已演练
一手来源与证据边界
优先使用论文、官方文档、官方模型卡和代码仓库。页面中的数字只代表来源所述设置，不自动外推到其他模型与数据。
用可控玩具模型说明：稀疏特征数大于可用维度时，模型为什么会用非正交方向叠加表示。
早期系统展示用字典学习与稀疏自编码器把神经元坐标改写成更稀疏的候选特征。
把 SAE 扩展到生产级模型与数百万 latent，并明确 feature splitting、自动解释和完整性问题。
16 million feature SAE、可解释样本与三项官方限制：标签验证不足、重构损失大、单点 feature 不是完整机制。
解释 L1 shrinkage，并把 feature 是否出现与出现幅度分离；在至多 7B 模型的实验中以约一半 firing features 达到相近重构。
Gemma 2 的 400+ SAEs、30M+ learned features、约 15% Gemma 2 9B 训练算力和约 20 PiB 激活缓存口径。
Gemma 3 270M–27B 的全层 SAE / transcoder、JumpReLU、instruction-tuned SAE、crosscoder 与 cross-layer transcoder 实现边界。
用 8 项指标评测 200+ SAEs / 7 类架构与训练方法，显示 sparsity–fidelity proxy 排名不能可靠代表下游实用表现。
两条赛道、4 任务、5 模型上的 circuit localization 与 causal variable localization；提供 SAE 不优于原始神经元维度的反例。
单作者预印本从 reseed noise、synthetic ground truth 和训练轨迹辨别力审计 SAEBench；用于说明当前评测本身仍需复核。
clean/corrupt 选择、denoising 与 noising、必要/充分解释、指标陷阱、backup behavior 和分布边界。
缓存激活、hook、归因、消融和 patching 的开放实现；SAE 功能在 v2.0 后迁往 SAELens。
Cross-Layer Transcoder、局部替代模型、归因图、error nodes、mechanistic faithfulness 与 perturbation 验证的主来源。
在 Claude 3.5 Haiku 上研究多语言、规划、算术、幻觉、拒答与 CoT 忠实度，并展示方法可能漏掉的机制。
在 Gemma-2-2B、Llama-3.2-1B 等开放权重模型上生成、浏览和干预 attribution graph 的官方工具入口。
在特定选择题与 hint 条件下量化 Claude 3.7 Sonnet / DeepSeek-R1 的 CoT faithfulness，并报告 reward hacking 监控失败。
J-space / Jacobian Lens 的报告、定向调制、灵活推理、选择性与因果实验；同时明确不主张完整脑架构或现象意识。
Activation Verbalizer → 文本 → Activation Reconstructor 的往返训练、审计结果、hallucination 与高推理成本边界。
在 Qwen2.5-7B-Instruct 与 Llama-3.1-8B-Instruct 上抽取 trait 方向，并探索监测、steering 与训练数据筛查。
GPT-4o SAE 的 misaligned persona latent、正反 steering、窄域错误训练的泛化和“早期预警”作为研究假设的边界。