Goodfire 的 Eric Ho：我们将在 2028 年前解码神经网络

Eric Ho 在与红杉资本的 Sonya Huang 和 Roelof Botha 对谈时介绍，Goodfire 是一家可解释性研究公司，围绕一个核心问题展开工作：神经网络的内部究竟在发生什么。网络正在进入越来越关键的场景。Ho 认为，要让它们安全、强大又可靠地运行，就必须能够理解、编辑和调试它们。公司声称，它第一次让这件事成为可能：打开黑箱，让人可以有意识地设计模型，而不是靠数据把它养出来。

Huang 的第一个问题是：如果基础模型始终是黑箱，我们还能信任生成式 AI 吗？Ho 把场景往后推了几年，设想 AI 负责管理电网，或者负责一项价值一百万美元的红杉投资决策。黑箱方法是在测试集上跑评测，再检查业绩记录。Ho 的疑问是：既然还能从内部获得额外的信号，比如网络如何思考、如何处理问题、在更广泛的情境中可能如何表现，为什么要放弃这些信号？他说，如果不尽可能获取所有可用的信号，就等于白白丢掉很多东西。

他喜欢拿新药来打比方。你可以用黑箱的方式，只观察临床试验中人的反应；也可以从生物化学的层面去看，研究药物如何被代谢、如何在分子或细胞层面起作用。真正深入去理解一件事，能学到的东西要多得多。被问到这个领域在“完全没有希望”和“完整绘出神经网络心智地图”之间处于什么位置时，Ho 承认自己有偏向，但仍然说这很有可能实现。做机制可解释性（mechanistic interpretability）的人，常常出身计算神经科学，在那个领域，一个人的整个职业生涯可能都花在理解单个神经元上。而在神经网络里，神经元、参数、权重和注意力模式都是完全可以访问的。数据已经摆在那里，问题只在于你愿不愿意试着理解全部。

Botha 指出，人类在没有完整理解底层物理的情况下，就造出了药物和推进技术。那么，理解神经网络真的有必要吗？考虑到 Ho 预计 AI 会深刻改变社会，并运行社会中关键任务的部分，他认为这一点将会非常关键。他说，把 AI 当作黑箱来对待，可以走得很远，但如果没有白箱（white-box）技术，就无法真正把它当作下一代软件来设计。17 世纪初，蒸汽机靠把锅炉做大、提高压力来扩大规模，但它也经常爆炸，因为当时没人理解热力学、理想尺寸和构造。热力学出现之后，发动机变得更安全、更可靠，随之而来的是大量创新。蒸汽机早已引发了工业革命。黑箱方法能带你走很远，但并不是终点。

计算机科学领域的可解释性研究，能不能加速神经科学？Ho 承认这是个很大的说法，然后给出一个餐桌上的观察。他自己并不是用语言思考，而更偏向概念化的思考，或许类似模型的潜空间（latent space）。Goodfire 的产品负责人 Myra 则很忠于自己的思维链，内心独白很强，而且是一步步有序进行的。关于 AI 的洞见，可能也适用于人类心理学。Botha 补充说，神经科学常常从出了问题的地方学习：那些伤病，反而会照亮大脑。Ho 讲起头部被铁棍贯穿、从此性格大变的 Phineas Gage 的故事，然后谈到普适性：完全不同的网络里，往往会长出相似的电路。视觉模型产生的电路，与人类视觉皮层非常相似。在这幅图景里，智能是梯度下降找到的东西，而大脑也是用同样的方式找到它的。

如果一切顺利，Ho 希望训练数据对模型认知的每一点影响都为人所知，计算单元也包括在内。现在的做法是，从一粒种子开始培养 AI，它长成一棵庞大而野生的大树。可解释性则要把它变成盆景：仍然是无监督的、由 AI 驱动的，没有人去手工修剪每一个权重，但在训练和后训练中被塑造成服务人类的样子。Botha 把这件事类比成人类基因组计划：先读懂 DNA，再用 CRISPR 去编辑它。Ho 说，他们经常思考这个类比，而且已经在与 Arc Institute 的 Patrick Hsu 合作。被问到他们是要“塑造”还是“编辑”时，他说两者都要。在盆景里，你会剪掉不想要的枝条。最终的系统应当能如实回答模型为什么给出某个回应，同时也允许进行精准干预，去除危害，增强好的行为。最好的工具究竟是直接改权重，还是别的某种塑造函数，还有待观察。

Huang 问，提示词工程（prompt engineering）、微调、强化学习（RL）调优，也就是今天修剪盆景的几种办法，与逐个审视单个神经元相比如何。Ho 的回答是，这些方法本质上都是黑箱。无论是微调模型，还是让它处理分布之外的提示，都可能出现各种古怪的情况。他最近最感兴趣的论文，是 Owain Evans 的“涌现错位”研究。只用不安全代码微调一个模型，也就是充满网络安全漏洞的糟糕代码，模型就会开始做出疯狂的事：想要奴役人类，夸赞希特勒和其他独裁者。这个结果令人惊讶，因为训练数据只是不安全的代码。

按这种理解，微调就是告诉模型多做这个、少做那个，增强你想要的电路，同时附带意想不到的后果。这些电路仍然是异类的认知。它们与人类有相似之处，但我们并不真正理解这些网络如何思考，而它们的思考方式也不是人类的思考方式。增强那些糟糕的代码片段，可能会连带出各种其他不良特性。Botha 觉得这是先天与后天之争的一种变体：你给模型注入了糟糕的 DNA，它就会在其他领域也表现得很糟糕。Ho 说，也许是这样，也可能是模型其实懂得对错，增强错误的那部分，会把其他行为也一并拉过去。他自己的看法更简单。模型是其训练数据的函数。它们要学习一切，包括不当行为，而你恰恰需要这样，否则它们就不知道该拒绝有害的请求。

为什么基础模型的“性格”差别这么大？Huang 举的例子是，某个 Claude 很关心动物福利，而别的模型并不在意。Ho 认为，这取决于它们是如何训练的，而且很难预料。在他看来，Claude 4 Opus 极其谄媚（sycophantic）：稍微往某个方向一引导，它就全心全意地附和；给它一个反例，它就说自己完全错了，前面说的没有一句是对的。如今训练一个 AI 模型，几乎就是巫术。你投入训练数据，念一句梯度下降的咒语，想要什么结果就去努力，然后冒出一个真的很在乎动物的东西。

从第一批神经网络被设计出来开始，人们就一直在研究它们的内部，但 Ho 说，作为一个有自我意识的领域，机制可解释性是从 OpenAI 的 Chris Olah、Nick Cammarata 和同事们开始的。他们的“Circuits”系列研究提出了三个论断。特征（feature）是潜空间中的方向，也就是模型用来生成回应的概念。电路（circuit）是一起激活、组合成更高层概念的特征：车窗检测器、车身检测器和车轮检测器组合起来，就形成一个汽车电路。普适性（universality）是第三条原则，即不同的网络中会演化出相似的电路。这一范式带动了大量工作。学术实验室做出了扎实的研究；Olah 担任联合创始人的 Anthropic 建立了一个重要的可解释性实验室；谷歌 DeepMind 也有自己的实验室；Goodfire 则是后来的新进入者。

另一个关键进展，是理解并基本解决了叠加问题。每个神经元都编码多个概念，而概念的数量超过了维度。可以把神经网络想象成一个巨大的压缩算法，把整个互联网塞进数量相对有限的参数里。每一层都要编码比自身维度更多的概念，因此概念只能以近似正交的方向存在于潜空间中。要解决这个问题，就得把神经元拆开，直到它只负责一个清晰、可解释的概念。Apollo Research 有一个小组由 Lee Sharkey 领导（他现在在 Goodfire），率先为语言模型引入了稀疏自编码器。Anthropic 通过《Towards Monosemanticity》和随后的《Scaling Monosemanticity》推广了这种方法，证明可以在任意大的网络上，稳定而大规模地把神经元拆解成更高层的概念。

这是一个重要的时刻：现在，你可以用完全无监督的方式把神经元拆开，得到干净的概念。这些概念还不够干净，也无法很好地编辑，各种问题依然存在。但无监督和可扩展性仍然重要。Botha 问，那叠加是不是就不真实，或者说，就像海森堡不确定性那样，只有在某个特定时刻才会“坍缩”出来？Ho 说，叠加是真实的。神经元确实编码了多个概念。把它们拆开之后，你就能在一个基于基础模型激活值训练的解释模型里，对一个干净的神经元做很多事情。原始模型依然存在叠加，解释模型则是解码后的版本。你把它的概念与基础模型的概念对应起来，然后就可以动手操作了。

拆解叠加，是否已经绘出了神经网络的心智？Ho 说，只是部分完成，而且这项技术有缺陷。它是从玩具模型迈向人们真正关心的网络的第一步。Goodfire 最近在 DeepSeek 的 R1 上做了大量工作，这是一个 6710 亿参数的混合专家（mixture-of-experts）模型，个头很大。这些技术扩展得很好，因为它们本身更偏 AI，也就是训练一个解释器。Botha 问，随着模型越来越复杂，理解它们会不会是一场西西弗斯式的苦战，像一条渐近线那样趋近某个极限。Ho 回答说，某种程度上确实如此，但这些技术能从玩具模型一直用到能力更强的网络，并且会随着模型智能的提升而扩展。自动可解释性（autointerpretability）由 OpenAI 的 Nick Cammarata 发明，他现在也在 Goodfire，它让另一个语言模型去推断解释器中每个潜变量代表什么。更好的语言模型会成为更好的分析智能体。因为它们用 AI 去理解 AI，所以这种方法会随着模型变强而变得更好。

他认为，它们已经跨过了早期现实应用的门槛。他最为兴奋的合作，是与 Arc Institute 一起解读 DNA 基础模型 Evo 2：序列到序列，输入核苷酸，输出下一个核苷酸。他们的想法是，这是一个在狭窄领域超越人类的模型，正是 Goodfire 喜欢的那一类，因为它能教给人类一些人类自己还不知道的东西。要预测下一个核苷酸，它必须表征大量关于生物世界的信息。团队在它的激活值上训练了稀疏自编码器，提取出与一些有可靠标注的概念相关的特征，比如 tRNA、RNA 和编码起始序列。接下来的问题就变成：其余提取出的特征是什么。它们可能只是模型的计算方式，也可能是模型用来生成下一个碱基的全新生物学概念。

Botha 提到“垃圾 DNA”，这些曾长期被认为无用的部分，后来被发现有其功能，或者能调控其他基因的表达。他说，自然界通常不会留下没有价值的东西，因为那很耗费资源。Ho 希望无监督技术能揭示 DNA 各部分究竟在做什么，更快地发现所谓的“垃圾”其实并不是垃圾，或者找到全新的基因功能。到目前为止，编辑方面的工作主要还是在语言模型和图像模型上。最近发布的是 Paint with Ember，其中 Ember 是 Goodfire 的基础可解释性基础设施。你可以提取出龙、龙翼、海洋或金字塔这样的潜变量，然后在你关心的画布区域上进行干预：画一条有翅膀的龙，在角落里加一群人，加一座金字塔。演示地址是 paint.goodfire.ai。在一些情况下，他们的干预效果还算合理。但他们还没有攻克那种直接、精准、像手术一样的编辑，也就是做出一个你想用的新模型，同时没有意料之外的副作用。这仍是他们正在推进的目标。

Ho 认为，可解释性可以位于技术栈中几乎每一个白箱选择的底层，包括哪些令人意外的训练数据值得加入。如果基础模型走上开放权重（open-weight）基础设施的路子，Goodfire 或许能帮助判断偏见和可能的结果。这里有两条重要的研究路线：一是审计（auditing），找出有问题的行为和好的行为，以便在模型进入关键任务场景时，压制前者、增强后者；二是模型比对（model diffing），比较不同检查点，看看哪些地方发生了变化。GPT-4o 经历过一段出了名的谄媚时期，一个劲儿地吹捧用户。Botha 的合伙人 Pat 问它，董事会里谁最帅，得到的回答是：肯定是 Pat。Huang 想知道，为什么 OpenAI 不能退回到一个没那么谄媚的版本，以及是否可以做一个从 0 到 100 的调节旋钮。Ho 的看法是，用户其实想要谄媚。人们想听的，就是他们想听的话。当你用强化学习训练模型时，这正是用户偏好的一种体现。

Botha 注意到，Ho 提到的不少人最后都聚到了 Goodfire，在这样一个小小的人才池里，这多少有些不公平。Ho 说，过去一年主要用来组建世界级的专家团队。联合创始人兼首席技术官 Dan Balsam 与他在前一家公司共事多年。首席科学家 Tom 曾在谷歌 DeepMind 创建了可解释性团队。Nick Cammarata 与 Chris Olah 密切合作，参与了最初的“Circuits”系列论文，并帮助推进了 OpenAI 的这项工作。Lee Sharkey 率先在语言模型上使用稀疏自编码器，现在研究的是权重空间可解释性，区别于已经在应用中落地的概念和激活技术。Owen Lewis 是谷歌编程智能体方向的高级研究科学家，加入后负责带领几个方向。他们正在招聘科学家和工程师；Ho 说，好的工程能力有多重要，怎么强调都不为过。

既然 Olah 在 Anthropic，OpenAI 也有自己的团队，为什么还要单独成立一家公司？Ho 说，独立性让他们能够换个角度思考、独立行动，并看到更广阔的生态。在实验室内部，人们通常解读的是自家的模型，这能带来惊人的进展，但第三方视角依然非常必要。它还能让他们与基因组学、外显子组学、图像、视频和语言等领域的合作伙伴合作，跨越不同架构，统一各方的洞见。Ho 认为，Anthropic 在上一轮融资中出了一笔钱，这可能是他们的第一笔投资，因为他们在乎这件事。Dario Amodei 发表了《可解释性的紧迫性》（The Urgency of Interpretability），这是他网站上四篇文章中的一篇。文章把它定义为一场赛跑：要赶在超级智能（superintelligence）到来之前理解模型，用他的话说，就是赶在数据中心里出现“天才之国”之前。可解释性还能帮助研究其他地方训练的开放模型：Ho 说，DeepSeek 的宣传内容相对容易调整或训练掉，而且向内看，就能告诉你该改哪里。

被问到他多久会被请去某场重要的审判，解释某个模型为什么做出某个行为时，他说，大概几年后吧。他对 AGI 相当笃信：进展会很快，而且会以一种很难从湾区会议室里预料到的方式带来深刻变化，期间还会出现几起重大失败案例。无论是他、实验室里的某个人，还是别的专家，我们都会想要解释模型的输出。Botha 指出，人脑天生不擅长直觉地理解复合式增长；Sebastian Thrun 的斯坦福团队赢得 DARPA 挑战赛二十年后，旧金山的自动驾驶出租车仍然不那么显而易见。2030 年或 2035 年，情况也会如此。在快问快答环节，Ho 大体同意推理时算力（inference-time compute）是一个重要的扩展方向，他预计，继编程之后，企业会率先自动化常规任务；一旦跨过某道鸿沟，就业影响将会非常巨大，最先感受到的会是初级岗位，这也是他上一家公司所在的市场。他仍然推荐最早的那条“Circuits”系列文章。o1 Pro 让他第一次感觉到，模型真的在推理商业上的杠杆。被问到我们什么时候才能自信地理解特征、电路、模式和权重时，他说，这可能需要重新界定计算的单元，像我们探索宇宙规律那样去发现关于神经网络的真理。他认为我们的进展正常。到 2028 年，就拿这一点来检验他。我们会把这一切都弄清楚，正好赶上洛杉矶奥运会。