稀疏自编码器找名词，参数分解找动词

Lee Sharkey 在共同创办 Apollo Research 之后，以首席研究员的身份加入了 Goodfire。Apollo 团队曾致力于检测和缓解前沿模型中的欺骗性行为。后来 Apollo 决定把重心放到评测上，机械可解释性（mechanistic interpretability）小组便失去了合适的归属。Sharkey 与 Dan Braun、Lucius Bushnaq 一起转了过去。几个月前，Sharkey 曾引荐过 Tom McGrath 和 Eric Ho，两人后来联合创办了 Goodfire；Sharkey 说，自己在这段创业故事里是个“B 角”。Labenz 指出，这笔 5000 万美元的私募融资也改变了算力的情况：Apollo 靠慈善资金运作，而这条研究路线对 GPU 的需求很大。

这期节目围绕两篇论文展开。第一篇仍挂在 Apollo 名下，题为《Interpretability in Parameter Space》，核心是基于归因的参数分解。第二篇来自 Goodfire，提出的是随机参数分解。两者合起来，想为参数做稀疏自编码器为激活值做过的事：把相互重叠的结构拆开，直到每一块都简单到能读懂。Sharkey 的对比很直接：激活值分解是把中间状态拆开，再给每一块贴上标签；参数分解拆的则是权重、架构，以及真正实现所学算法的非线性部分。

Labenz 用厨房打了个比方，Sharkey 也认可，这个比方一张图就能说明问题所在。稀疏自编码器能告诉你冰箱里有鸡蛋、番茄、黄油和面条，也能说明每样东西是什么时候被拿出来的，却说不出菜谱。在“猫”这个特征亮起之前，毛发、眼睛、尾巴和胡须就先亮了，这是一项真实的发现，甚至和人们对人类视觉系统的设想相吻合。但它仍然说不清，层与层之间的哪些变换，把这些部件组合成了一只猫。其他基于激活空间的方法也试图刻画这些变换。Sharkey 的判断是：计算存在于参数之中，激活值在某种意义上只是搭了个便车。

为什么只说第一层有概念 A、B、C，第二层有概念 D，还不够？Sharkey 的回答既有哲学层面的，也有实践层面的。能在激活空间里找到一个方向，并不代表网络真的在用这个方向。你可以按姿态给猫的图片聚类，得到两个特征，但网络可能仍然把两者都当作“猫”。他认为，网络用某个变量，意味着这个变量确实是网络在其上进行计算的对象。应该先看计算，后看表示。反过来做，就可能写出一部收录了模型从未做出过的区分的百科全书。

多维特征从几何上说明了同一件事。在某些网络里，一周七天并不是七个彼此独立的方向，它们落在一个平面上，几乎均匀地绕圆周分布，于是一次简单的旋转就实现了“下一天”的函数。模加法上的顿悟现象（grokking）也类似：数字变成角度，角度按三角函数的方式相加，结果再映射回数字。为寻找稀疏激活方向而训练的稀疏自编码器，可能会给出七个星期几的特征，或者一堆模运算方向，却仍然漏掉了它们共享的那个算子。算子本身是一种计算，作用于许多输入之上。转码器（transcoder）也有同样的盲点：恒等映射或旋转本身是一个简单的对象，但稀疏字典可能要为每一组输入与输出特征各配一对编码器和解码器。

这种方法的思路是给网络加上第三个维度，把这些算子找回来。Labenz 照常画出宽度和深度，然后再叠上一摞垂直的切片：每个切片都是架构的一份副本，它们的参数之和必须等于原始模型的参数。训练同时施加三种损失。忠实性：这些切片加起来要还原目标权重。最小性：对任一输入，激活的切片要尽可能少。简单性：每个切片都应当是低秩的，并且尽量少跨层，否则平凡解就是“直接用原始网络”。Sharkey 把这叫作“模型反合并”：想象一个巨大的专家混合模型（mixture of experts）被压成了一个模型，然后再把专家一个个拆开。他借用 Ilya Sutskever 的说法，认为网络“就是想学习”。参数空间越大，满足额外约束的方式就越多。在玩具模型上，这种方法确实还原出了可以解释的机制。

但这仍然是个糟糕的算法。内存是最明显的瓶颈：把一个十亿参数的模型拆成一百万个组件，就要存下一千万亿个参数。训练过程“极其笨拙”，对一个不连续的 top-k 门控高度敏感，哪怕权重只更新一点点，激活的组件也可能被换掉。用来决定重要性的分数，也就是梯度归因，在一些常见情况下系统性地出错。一个值接近 1.0 的饱和注意力头，哪怕权重只挪动一点点，变化也很小，于是梯度会判定这个机制“不重要”，可它几乎承担了全部工作。Labenz 还担心概念漂移：没有被用到的“垃圾”切片，可能会吸收活跃切片所学内容的相反数，于是在总和仍然对得上的同时，真正在跑的算法悄悄偏离了原始模型。Sharkey 承认这一担心对基于归因的参数分解成立，但他说随机参数分解的设计就是为了让这条路走不通。

随机参数分解保留了同样的目标和三条概念性约束，但改变了分解的对象和归因的方式。它不再复制完整的架构，改为把每个权重矩阵拆成秩为 1 的子成分：每个子成分从激活空间中的一个方向读取，再写入另一个方向。子成分的数量可以多于矩阵的秩，这相当于参数空间里的叠加（superposition）。如果数据表明某些子成分应当归在一起，之后可以把它们组合成秩更高或跨层的成分。忠实性依然要求各部分加起来等于原始权重，所以即便它们是从随机初始化开始的，整体上也不会偏离太远。

“随机”的部分取代了梯度。一个小网络（论文里通常是一个只有 16 到 128 个参数的阈值器）为每个输入下的每个子成分输出一个介于 0 和 1 之间的因果重要性分数。取值为 1 时，这个部分必须完全保持开启；取值为 0 时，它可以被随机掩码成 0 到 1 之间的任意值，而输出不变。在两者之间，随机消融造成的损害应当与你把它调低的幅度成正比。重参数化技巧（reparameterization trick）让梯度能穿过这个随机采样，于是重要性网络就能学到每个部分究竟有多可以被消融。这个技巧并非 Sharkey 发明，但他没在归因文献里见过类似用法，并认为它可以迁移到像素级的图像归因上。关键在于，随机参数分解里没有真正“死掉”的成分。现在“死掉”只表示“始终随机开启”，不再表示“始终关闭”。梯度会持续流动。也不存在闲置的切片，能藏着一份抵消活跃算法的副本。

在已知真实结构的玩具问题上，它能还原预期的机制，训练起来也远没有那么脆弱。它还能抵抗一种病态现象，有些稀疏自编码器用户反而把这种病态当成了特征。把稀疏自编码器做得更宽，一个“以 E 开头的词”方向就可能分裂成“elephant”加上“其他以 E 开头的词”。这种更细的字典，对网络真正使用的变量可能没那么忠实。由于随机参数分解的各成分必须加起来等于原始参数，你就不能为了降低重建损失而不断增加潜在特征。Sharkey 推测，有用的参数片段数量会比稀疏自编码器字典的规模更早趋于平稳，不过在语言模型上，这仍有待实验验证。

分组仍然是一项困难的审美判断。在一个玩具模型里，随机参数分解把一个 W_out 矩阵拆成了 50 个秩为 1 的子成分，这些子成分随后看起来就像一个秩为 50 的整体对象。那为什么要合并，而不直接保留这 50 个动词？Sharkey 的回答是，根本不存在唯一正确的切分方式。分解的粒度可以调高，也可以调低。粒度调得过细，重建损失最终会变差；因果重要性分数也开始出现杂乱的小数，不再集中在 0 或 1 附近。这些诊断指标能标出谱上更健康的区域。稀疏字典学习也有同样的注意事项。每种方法都是透过一个连续网络的某个镜头在看，而每个镜头都会丢掉一些信息。你付出这份代价，换来的是一种可以处理的解释，却拿不到一份真实的部件清单。

规模化是接下来的一章，但远未解决。团队已经在百万参数量级的语言模型上运行过随机参数分解，也在十亿参数量级的模型上做过尝试。有待实验回答的问题是：还原出来的部分是否仍然低秩到足以阅读。如果语言模型的组件秩太高、纠缠太深，Sharkey 说，即便如此，你仍然得到了一些被分离出来、成本较低的对象可以研究，之后还需要在此基础上再做一轮可解释性分析。这仍是进行中的工作，尚无定论。

如果这种方法站得住脚，它的应用会比稀疏自编码器的工作流程更接近权重本身。最明显的一个是手术式遗忘：你已经知道参数空间里有一个向量实现了某种能力，于是直接编辑这个向量，而不必把某个激活特征翻译回权重的改动。他说，这样做能否优于梯度引导的遗忘基线，是另一个问题。第二个应用是监控。稀疏自编码器看的是某个特定输入方向会不会亮起。欺骗这类行为可以依托许多不同的输入方向；即便激活值指向四面八方，被反复复用的计算可能仍是同一个函数。参数分解正是为找出这个函数而设计的。Labenz 最后的愿望很直接：如果能找到欺骗回路，就把它消融掉。

Sharkey 最感兴趣的应用是知识提取，包括从 Goodfire 已经在研究的科学模型中提取知识。有些模型在某些任务上已经超过人类，而这些任务的结构从未被语言写下来，蛋白质几何就是一个显而易见的例子。如果你能用网络自身的计算术语来思考，也许就能读出任何论文都没有写过的洞见。这还只是一种期望，尚未得到演示。这也是他一直把注意力放在函数上的原因：知识藏在模型如何计算之中，只看哪些概念被激活，是不够的。

Labenz 把整个项目定位为这一代的科学挑战之一，与理解生物学相提并论：解释神经网络为什么会做它所做的事，以及能否在全新情境下预测它们的行为。Sharkey 的工作算是一次早期尝试，研究的模型还很小，分组规则在一定程度上也还依赖品味。这次对话并没有宣称手里已经有了成熟的显微镜。它想说的是：只看名词，也就是那些亮起来、贴着标签的方向，会让动词无人审视，而算法恰恰藏在动词里。

这种区分不只适用于可解释性实验室。任何时候，一个复杂系统被简化成一堆标签，稀疏自编码器式的习惯就会随之出现：数一数哪些东西出现过，却漏掉了那个可以反复使用、把 A 变成 B 的变换。Sharkey 那个关于星期几的平面，就是一则寓言：七个标签可以全部准确，却仍然掩盖了真正规则所在的那次旋转。参数分解是把这条规则写到纸面上的一次尝试。它还不成熟，代价高昂，在哲学层面对“真”也保持谦逊。对于任何与黑箱打交道的人来说，它也是一个提醒：不仅要问哪些变量出现了，还要问哪些函数被反复用在了这些变量上。