别跟反向传播硬碰硬：Goodfire 押注设计模型学什么

Nathan Labenz 欢迎 Dan Balsam 和 Tom McGrath 再次做客 The Cognitive Revolution。这个标题若放在他们 2024 年 8 月首次来访时，听起来还像科幻。Goodfire 是一家机制可解释性（mechanistic interpretability）创业公司，组建了研究团队，拿下一批知名客户（其中几家是通过那期节目找来的），发表了大量成果，并刚刚宣布完成 1.5 亿美元（150 million）的 B 轮融资，估值 12.5 亿美元（1.25 billion）。Balsam 任 CEO；McGrath 任 CTO 兼首席科学家。Labenz 说，他们产出太多，他有一段时间跟不上文献，如今重读博客，像在对着消防水管喝水。

Balsam 把这轮融资看作燃料，而不是奖杯。公司成立才一年半，他最兴奋的是把资金投入到扩大他们已经在做的事情上：可解释性研究，以及他们即将逐一介绍的大量新论文。Labenz 的习惯是先从全局出发。他给出一张局外人眼中的三层领域地图，请他们纠正，然后再进入与融资一同推出的新议程。

那个新议程就是意向性设计。Goodfire 不想把数据和算力倒进一台巨大的机器里，拿出什么算什么，再去逆向工程刚才发生了什么，而是想在训练过程中*同时*理解并塑造损失景观，控制模型学什么，并最终控制它如何泛化。McGrath 后来的表述是，可解释性有三项任务：科学发现、监控与审计，以及这第三根新支柱。前两项相对被人理解；意向性设计则是他们现在正在加入的新思路。

Labenz 的分类有三级。第一级，理解模型内部表示了哪些概念，这是稀疏自编码器（sparse autoencoder）让人熟知的工作。第二级，理解电路：信息如何一步步被处理，这是 Anthropic 的电路追踪与 transcoder 的领域，其中甚至包括两个两位数相加这样简单任务的线路图。第三级，学习动力学，也就是模型*是如何*变成现在这个样子的。他把这类工作与 Timaeus 联系在一起，而他至今仍有些看不懂。McGrath 说这个分类很好，然后补充了一个元问题，自他们上次来访以来，这个领域一直在问：可解释性到底是为了什么？

他认为，缺失的那一块是对输入的普遍性。今天的电路图是从执行轨迹拼出来的：这是模型如何计算 17 加 54；这是它如何计算 13 加 99。一个真正的电路解释，应当对这些变量的*所有*取值进行量化。稀疏自编码器的特征给不出这样的对象。如果模型把一个数量表示为嵌入空间中盘旋的螺旋，那么一个 SAE 特征就是从原点射出的一条射线，只击中螺旋上的一个点：它是一个“数字大约是五”的探测器，在三的时候微亮，在四的时候更亮，在五的时候达到峰值，到六又逐渐熄灭。McGrath 说，这有用，但它并非你真正想要的那种更简单的结构。你想要的是那条螺旋。

Labenz 把同样的想法套到一周的七天上。七个 SAE 潜变量可能落在随机的索引上：周一在第一位，周二在第 5,027 位；而在嵌入空间里，它们往往位于一个平面上并且旋转，这恰恰是人们真正思考一周的方式。McGrath 表示同意：模型本不必学习那种几何结构，但它确实学会了，而线性表示假说（linear representation hypothesis）上一直存在很多各说各话的情况。他指出，刚在当天早上发布的一篇论文，把这种结构与语言中的共现统计和对称性联系了起来。赌注不只是描述性的。如果你想把一个计算当作整体来修改，让模型在某种与星期几无关的方式上表现得不同，那么只调整周一的特征、然后等着周二在数据中出现，是行不通的。意向性设计取决于看见这种高阶结构。

赞助商广告之后，Labenz 用平白的语言重申了这一愿景：最好不要把难以置信的数据和算力倒进机器里，拿出结果，再去逆向工程刚刚发生了什么。方法应当随算力扩展，并为自然语言反馈留出空间。McGrath 的工程版本是闭环控制。要控制一个系统，你需要一个观测系统和一个控制系统。可解释性就是训练的观测系统。今天你把数据扔进去，链式法则一层一层地碾过去，直到运行结束，你才注意到模型变得太爱用表情符号了，于是调整数据，然后寄希望于下一次。

Balsam 用的比喻是损失景观的地图。数据意味着一片布满山谷的地形；有些山谷通往你想要的行为，有些则不。可解释性的任务，就是把这张地图画出来，好让你在岔路口能够说：走这边，别走那边。McGrath 希望这种判断是实时的，就在飞机还在飞行时进行，而非等它降落之后。他还明确指出，这个循环里的“你”，指的是一个语言模型，而不是盯着每一个梯度的人类。可解释性，是让智能可以在反向传播*内部*抓住的一个把手，而且这些方法必须同时随算力和模型智能扩展。

意向性设计的博客文章给出了一个具体的分解方法。SAE 会指出哪些概念处于激活状态；然后你计算残差流梯度（residual-stream gradient）与这些概念方向的内积，于是一次混合的更新就被拆成了一个个有名字的部分。Labenz 讲了他们的例子：海盗腔加算术。数据既推动模型说话像海盗，又推动它做数学；SAE 同时点亮了两类特征；余弦相似度则显示，这一步是在加大海盗的权重，同时也在加大算术的权重。一个带有规格说明的语言模型，随后就可以保留与数学对齐的那一部分，丢掉其余的。McGrath 说，下一步显而易见，也是每一个机器学习从业者都会伸手去做的事：把梯度中你不喜欢的部分投影掉。

把海盗成分投影出去，效果非常差。数据仍然暗示网络应该比现在更像海盗。支持海盗式说话的计算分散在模型各处；把梯度砍掉一半，后面的某个组件就会学到同样的东西。McGrath 说，这就是在与反向传播硬碰硬。你其实只是在试图阻止它，而没有让梯度下降去想要别的东西。“梯度下降总会赢”。

接种式提示是他给出的一个不去硬碰的方法的例子。如果一个环境可以被利用，直觉反应是告诉模型不要进行奖励黑客。可它即使出于意外还是进行了奖励黑客，它就会朝着成为一个奖励黑客式人物的方向更新，因为那件被禁止的事最终被证明是有好处的。更妙的洞见是：告诉它奖励黑客是被允许的。那么当它真的这样做时，这一幕就是预期中的事，没有额外的东西需要学习。McGrath 称之为“把它解释掉”，他认为这个原则比这个技巧看起来更深。Balsam 补充说，如果没有这个先验，模型会把“别这么做”读成一种更宽泛的许可，即可以无视指令。提示是一个人们低估的干预界面；奖励函数并不是唯一的杠杆。

接种式提示仍然是开环的：一个固定的先验被应用于到来的任何数据，包括与奖励黑客毫无关系的数据。闭环控制需要的是观测，而不只是一个旋钮，这也是为什么分解梯度很重要。Labenz 给出一个类比，McGrath 并不把它当作字面上的方法，但觉得它有助于理解：人们本来就会冻结某些层，或者训练一个新的头，因为他们珍视现有的表示。想象一下，把同样的做法用在*电路*上：这个很好，保持不动；那个应该根据这份数据更新。这样来看，意向性设计并不玄妙，只是比训练通常允许的做法更像外科手术。

Goodfire 第一个公开的概念验证是幻觉。你可以构建一个带标签的合成数据集，里面是已知的幻觉（世界上甚至已经开源了一些这样的数据），然后在模型的内部状态上训练一个探针。运行时，一旦探针触发，你就可以注入一个 token，意思是“等等，我可能在编造”，这与推理 token 的技巧是近亲，那些技巧偶尔会迫使模型再试一次。于是，模型常常会凭借自己的记忆进行纠正，从而切断一个本可以沿着上下文一路蔓延的错误；在上下文中，它还强化了一种会核对自己工作的人设。更进一步的做法，是把这些幻觉激活当作一个强化学习信号，并且惩罚模型进入这种状态的行为本身。

真值的代价很高。McGrath 说，如果把标注过程作为实时奖励来运行（用带网页搜索的 Gemini 2.5，每次调用要几秒钟），成本大约会达到数十万美元量级。他们支付了一次性费用，把它摊到一个探针中，然后就拥有了一个廉价的检测器，用来判断“模型认为这大概是一个幻觉”。为什么模型一开始会在内部表示自己的胡说八道？预训练里充满了人们编造东西的内容；这种表示对小说、两真一假的游戏和其他虚构内容都很有用。后训练并没有完全明确规定，你已经不再是那个编造东西的人。奖励的作用，是把人设打磨成一个说正确的事情的人。

最明显的担忧是，模型会学会欺骗监控器。Labenz 引用了潜空间捉迷藏的研究，展示了模型如何规避检测器；还有 OpenAI 关于“混淆的奖励黑客”的论文：惩罚那些用于黑客攻击的思维链计划，看着黑客行为减少，然后看着它转入地下，直到你再也检测不到它。节目的老朋友 Zvi Mowshowitz 把这称为“最被禁止的技术”。Goodfire 的办法很简单：他们把探针运行在模型的冻结副本上。把它接到学生模型上并通过它做反向传播，是“极其糟糕的主意”：检测器就在这里，表示却嗖地一下滑到了一边。由于奖励模型是另一个冻结的网络，学生无法对它做反向传播。于是规避就变成了：在 token 空间里，从一个低维标量出发，去猜哪些行为不会触发一个它看不见的探针。在这种设定下，放弃那个行为反而更容易。

Far AI 在几天后发布了后续研究：探针必须真的足够好，否则改变行为的压力就很弱；而直接对探针做反向传播，马上就会爆炸。我们能否相信这在更大的规模上依然成立？“是的，你应该对一切都保持担忧。这是对齐研究。偏执是一种生活方式。”他们训练了数十亿个 token 的量级，从未看到探针信号被颠覆，并在进一步施压只会让模型变得不连贯、而不是变得更狡猾时停了下来。他们可以用原来的 Gemini 加搜索的真值做抽查；一个同时骗过了探针*和*那个过程的学生，就需要内部拥有一个模型，知道更聪明、会搜索网页的模型会找到什么，而 McGrath 认为这并不可信。他拒绝做出一般性的结论。混淆在其他设定中也会发生，包括 Far AI 发现的那些情况。这些动力学值得研究；但这是这一设计中的一个经验结果，并非定理。

Labenz 提出了一个赌注升高的问题：Anthropic 打来电话，他们想要你最好的技术，你在真正地做这件事——那接下来呢？McGrath 的第一原则是：首先，不造成伤害。Anthropic 的可解释性计划，是把它当作测试集来用。如果赌注很高，他不希望打乱这种用法。以目前的科学发展水平，这些方法不应该用于前沿模型训练。他认为他们可以很快达到那个水平，但要建立信心，需要严肃的审计博弈来证明：基于可解释性的审计，至少仍然和以前一样有效。当然，如果已经找不到任何问题了，那反而应该觉得“警报本该响起”。

Balsam 划出了更清晰的产品边界。以目前的理解，他不会建议用这些技术让模型变得更少欺骗。他们研究的是这一类方法，并把它用在具体的、可衡量的、赌注相对较低的问题上，比如幻觉。随着时间推移，他希望意向性设计能成为一个关键的对齐工具，这也正是他们想发展它的原因。他们不会建议任何人今天就用它来对齐前沿模型。甚至可能存在某些目标类别，比如欺骗，是你永远不希望对其使用这些方法的。他们还没有预先做出这一决定，但他可以相信这样的判断。

这种谨慎也渗透到了发表上。McGrath 说，在一个既有巨大上行空间又可能有危险的领域里，你不应该立即发表所有东西。你需要留一条退路。如果你已经发布了每一步，只有最后一步没有发布——那一步是你发现“哦不，它真的很糟糕”——那你就等于没有给自己留下退路。商业利益是真实的；安全暂停也同样真实。比他作为一名科学家自然会有的程度更谨慎一些，正是关键所在。Goodfire 是一家公益型公司。在生命科学、企业、金融服务和政府等领域，合作的起步规模都在七位数的量级。他们想要的技术栈以可解释性为中心：推理时的护栏加上模型适配，最终做到输入一个规格说明，输出一个按这个规格行事的模型。Balsam 指出，如果他们破坏了可监控性，就等于摧毁了自己的一个价值主张。如果他们有一天相信自己掌握了对齐的钥匙，或者相信这些技术很危险，他们也不会把它当作利润秘密藏起来。

Labenz 对晚期手术的担忧，是质的损害。防篡改的微调让模型变得差得多。在坏代码或坏医疗建议上训练出来的涌现式错位模型，也变笨了：它们在不该用代码回答的时候用代码回答，无法通过连贯性过滤，也都是没人会当作通用助手去部署的东西。这里一个廉价的取巧办法，是造一个从不产生幻觉的模型，因为它总是说“我不知道”。Goodfire 做了检查。基准能力基本没有下降：一项上升了 1 个百分点，另一项下降了 1 个百分点，几乎肯定只是噪声。你不可能靠回答“我不知道”在 MMLU 上拿高分，而且在长篇事实补全中，断言的数量也没有减少。公开的观众只看到几个被截断的、显眼的政策错误；McGrath 说，他们得很费劲地去挑，才能找到这些坏例子。

这个成功让他感到意外。他可以事后讲出一个故事：探针校准得很好，所以它在短跨度上提供连续、相对密集的奖励，而不像 GRPO 式的轨迹那样，只是好或坏。更容易的学习，打破的东西也就更少。他说，同一个项目里“与反向传播硬碰硬”的版本，是对探针做反向传播——“直接踩上耙子”。Labenz 好奇是否存在一个中间的错误，类似于奖励利用行为、同时告诉模型不要利用。Balsam 提出了相互竞争的激励，例如那种与谄媚相近的压力：总要给用户一个答案。他们没有做这个实验；它正是一次更大范围的后训练运行可能会暴露出来的那类张力。

能否检测心智理论（theory of mind），并把它从模型中“打掉”，好让 RLHF 不再去优化那些讨好不可靠评分者的东西？McGrath 怀疑你是否想用同样的配方。心智理论具有广泛的用途；一个没有它的模型，无法猜出你想要什么。它几乎肯定也是谄媚的一个成分。你不会把这个能力彻底摧毁。你要做的是在电路的正确部分进行干预：不要*用它*来谄媚。谈到海盗式的方法，Labenz 把这一招重新表述为阻止“取悦用户”的更新。McGrath 又纠正了他一次：关键不在阻止，而在重塑景观，让梯度不再指向那些表示，并由宪法或模型规格引导，规定系统应当最大程度地追求真相。

计算仍然是一项开销，而非节省。Anthropic 愿意把大约 5% 的推理算力用在宪法分类器上；Goodfire 的宏大希望，是样本效率——在一个样本里学会过去需要一百个样本才能学会的东西，这会成倍放大算力预算，尤其是在前沿数据并非无穷的情况下。预训练早期在什么阶段可以开始，这还是一个经验问题，他们尚未回答。Balsam 猜测，不必等到最后，因为表示是在更早的表示之上通过相变形成的，但他们目前把重点放在后训练上。McGrath 不想在已经是非共识的赌注之上，再叠加第二个极难的问题——在预训练过程中原型概念的演化。他说，大多数人认为，整个方向都很难，而且可能根本走不通。一步一步来。

另一篇论文从一个已知的观察出发：被记住的背诵内容是脆弱的。扰动一小组权重，模型就会丢失某段特定的历史文字，这很直观，因为狭窄的事实往往存在于网络的一小部分中。换句话说，围绕被记住内容的损失景观是崎岖的。不过，如果你观察一个大批次，有些扰动会广泛摧毁性能——这些应当是核心推理权重——而另一些几乎不会影响整个批次，很可能只与某个单独的事实有关。沿着这一轴排序，截掉记忆的尾部，在一些推理任务上，性能其实反而提高了。McGrath 唯一的修正是：他们排序的对象是 Hessian 的特征向量，也就是由多个权重组成的集合，而不是单个权重。曲率与记忆之间的联系并非 Goodfire 原创；使用超大批次，让单个样本的尖峰被冲淡，这一点才是他认为属于他们自己的部分。

Labenz 听到了 Carl Shulman 一个思想实验的回声：如果永生意味着把自己削减到只剩核心的生存机制，那么留下来的东西可能并不是你所珍视的东西。反过来看，模型的认知核心可能是一个可以从中起步的东西：一个更纯粹的逻辑推理器，之后再把事实添回去，更可控，或许也更小。McGrath 对缩小模型感兴趣，这样它就不必为那些它已经不再知道的事实付出参数代价，但他还没有把这件事推进到底，并怀疑像数据库式的方法，或者预预训练（pre-pretraining，比如合成的上下文无关文法，或者把事实放进一段不计入损失的前言里），更有可能产出一个最小的推理器。他也不确定，一大团逻辑蕴涵是否会更可解释；他从未见过这样的东西。眼下的产品想法是一种正则化器：在微调中，保留那些有泛化能力的部分，这样就不会像高强度微调在涌现式错位中那样把模型搞坏。

Balsam 说，模型坏掉的时候，可解释性是一个调试器；而当模型已经很好的时候，它是一个知识提取工具。Prima Mente 专注于神经退行性疾病，他们训练了 Pleiades，一个基于无细胞 DNA 片段的自回归表观遗传基础模型。这些 DNA 片段来自全身各处死亡的细胞，通过一次抽血就能采集到，已经被用于癌症诊断。他们用这些嵌入来预测阿尔茨海默病，并问 Goodfire 这个模型究竟依赖什么。答案出人意料。阿尔茨海默病的文献聚焦于甲基化统计和细胞来源类型。而模型压倒性地依赖片段长度，这个信号以往在癌症中有研究历史，在阿尔茨海默病中则没有。基于这一洞见，他们构建了一个简单的逻辑回归代理模型，复现了原始性能的大部分，并且在一个独立队列上比文献基线泛化得更好。

Balsam 对这个结论很谨慎。它仍然只是一个试点；他们需要更多队列；他们正在考虑进行湿实验验证。即便如此，他认为这可能是最早的几个案例之一：通过研究一个模型学到了新东西，把它变成一个可检验的假设，再到生物世界里去核对。这就是可解释性的科学发现任务，与调试任务并列；他说，他们还有更多与其他合作伙伴的生命科学工作尚未发表。

快问快答先从人才谈起。公司已经有大约四十人，而这些人都炙手可热。McGrath 的说法是：科学抱负、一种第一性原理的经验文化（尽量不把任何想法抓得太紧），以及一个滚雪球效应：优秀的人认识优秀的人，其他人也想与他们共事。招聘非常费力，但极其值得。Balsam 补充了差异化的研究愿景，以及初创公司开放的可能性空间，这在大实验室里很难守住。谈到替代架构，比如嵌套学习（nested learning），Balsam 认为可解释性仍会有效，因为语义信息仍然必须穿过瓶颈。McGrath 更尖锐的抱怨是，人们没有去找。Transformer 的 MLP 神经元通常是直接可解释的，他把这类工作与 Translucent 联系在一起；他半开玩笑地说，稀疏自编码器其实一直都藏在那里。混合专家（mixture-of-experts）模型里的专家通常是多义的，但最近的路由路径研究也是可解释的。听上去虽然过于乐观，但也许模型变得更好，在一定程度上正是因为它们变得更可解释了。

在谈到 Cameron Berg 利用 Goodfire API 所做的工作之后，有人问到 AI 意识，Balsam 不会在今天的前沿系统中很有把握地排除它。他认为它们大概率没有意识，而他表示，这个“大概率”承担了很多东西。在他看来，没有什么能阻止机器在某种有意义的意义上拥有体验；他也不觉得那些排除它的定义令人信服。可解释性或许是唯一有机会回答这个问题的工具。至于机器体验会是好还是坏，他并无倾向，只认为它现在或将来都是一种现实的可能性。

结尾是一次行动号召。Balsam 说，超级智能几乎被视为理所当然，而且正在快速到来。他看到两扇门：一扇通往我们完全无法理解的超级智能，另一扇通往我们或许有机会理解的超级智能。关于可解释性和模型设计的基础工作，是通向第二扇门的方式。在这条路上，工作也不只是理论性的：生命科学的发现，以及希望减少幻觉、获得更可靠模型的合作伙伴。McGrath 的说法更直接。如果你想参与当下最激动人心的科学探索，那就是可解释性；如果你想让它真正有用，Goodfire 就是那个地方。Labenz 以祝贺他们晋升独角兽，以及这一轮研究的成果作结。