30 秒看懂
Curt Tigges 说,团队发现大型语言模型里的许多神经元比研究者预想的更容易描述。在每个活跃专家中只保留最强激活后,模型在多项测试中保持了性能,但推理最初受损,需要进一步训练。团队用 AI 智能体研究神经元,再用另一个模型检验解释。Tigges 说,绘制神经元图谱只是理解回路和整体模型行为的一步。
- 1单个神经元可能具有数量有限的作用Tigges 认为它们的行为通常比预想的更容易解释。
- 2稀疏模型在多项测试中保持了性能团队移除弱激活后,通过额外训练恢复推理能力。
- 3智能体检验并修改神经元解释另一个模型检查这些解释能否预测激活。
- 4神经元描述本身不能解释整个模型Tigges 说,下一步要把神经元与回路和行为联系起来。
- 5超长上下文仍有待测试Tigges 报告的编程测试最长为 3.2 万词元,而非 100 万。
要点建议
- Tigges 说,许多被研究的神经元具有数量有限、可以描述的作用。
- 移除弱激活后,多项基准表现得以保持;推理最初则出现退化。
- 研究智能体提出神经元描述,另一个模型检验描述能否预测激活。
- 理解单个神经元仍不足以解释整个模型的行为。
按章节阅读整理后的全文
为何研究单个神经元?
Labenz 与 Tigges 介绍核心观点及研究使用的模型。
Nathan Labenz 介绍 Goodfire 研究员 Curt Tigges。Tigges 研究语言模型各个组成部分的作用,认为许多神经元比研究者过去认为的更容易理解。
讨论围绕一个拥有数百万神经元的语言模型,以及用于研究神经元的 AI 智能体展开。Tigges 介绍了去除弱激活、检验解释和研究神经元群组的实验。
Labenz 认为这些结果可能让直接研究模型内部变得容易,但他追问:解释单个部件能否帮助理解整体行为。
Labenz 介绍 Tigges 及其与 Nick Cammarata 的合作。相比配套文章,论文更详细地研究语言模型中的神经元。
Tigges 说,神经元可能很复杂,有时会对多个概念作出反应。他们发现,这些含义通常是数量有限的一组,而非无穷无尽。
Labenz 问,更容易解释是因为底层系统发生了变化,还是因为研究工具变得更好。
Tigges 认为两者都有作用。智能体可以在大量激活实例中寻找模式;现代门控结构也可能使逻辑操作更加清晰。
他们主要研究 Qwen 3.6-35B-A3B,这是一个混合专家模型:处理特定输入时,只选择其中一部分专家子网络。
专家和门控神经元
Tigges 解释模型架构及进入门控神经元的两条路径。
Tigges 介绍,模型有 40 层,每层 256 个专家,每次选择其中 8 个。每个专家有 512 个神经元,但各神经元的激活强度不同。
他说,神经元可以朝正负两个方向激活,而两个方向可能有不同含义。团队选择该模型,部分是因为其架构包含其他大型开放模型也有的特征。
在门控组件中,两条独立路径处理信息,然后将结果相乘。Tigges 举例说,一条路径可能识别烹饪语境,另一条识别大蒜之类的食材。
Labenz 问这种更复杂的设计为何变得普遍,以及它最初是否以可解释性为目标。
Tigges 说,这种设计流行是因为它在实践中表现良好。他的团队事后提出解释:独立输入有助于在不同语境之间切换。
他描述一个神经元在一种语境中与口腔健康有关,在另一种语境中与海洋生物有关。他说,周围语境会让不同的下游神经元做好接收准备。
Labenz 核对自己对双路径的理解:独立到达的信号能让模型以更多方式组合信息。
Tigges 解释,具体的门控设计称为 SwiGLU,其中的激活函数称为 SiLU。他说两条输入路径常常对部分不同的内容作出反应。
移除弱激活后发生了什么
两人比较稀疏选择方法及基准测试结果。
Labenz 将话题转向稀疏性:保留最强激活、移除大量弱激活后会发生什么?
Tigges 区分两种测试:一种用平均值替换选中的激活;另一种只保留每个活跃专家中固定数量的最强神经元,其余设为零。
他说,稀疏化后的模型在多项基准上仍表现良好,但推理最初会受损并可能反复自检。少量后续训练可以恢复大部分表现。
Labenz 问,为什么在每个专家内选择最强神经元,与按数据集上每个神经元的百分位设阈值,会得到不同结果。
Tigges 说,同一个激活百分位对某个神经元可能仍有清晰含义,对另一个却可能主要是噪声。在每个专家内部选择最强神经元,相当于让各专家有自己的有效阈值。
团队研究不同激活水平的实例,寻找可辨认模式消失的位置。Tigges 说,最强的激活通常包含最清晰、对计算最有因果影响的实例。
Labenz 注意到,去除中间一半激活对许多基准分数影响很小;移除更多激活后,性能损失最终会扩大。
Tigges 推测,一些提升可能来自模型更有信心或更快得到答案,而较弱的内部信号不再造成干扰。
接下来的挑战不只是找出重要激活,还要描述神经元的作用。Labenz 问团队如何把这项工作扩展到数百万个神经元。
智能体如何研究神经元
团队对实例分组、运行实验并检验解释。
团队先把一个神经元激活的实例分组,再交给名为 neuron scientist 的 AI 智能体。智能体提出关于该神经元何时激活的假设。
智能体可以修改句子、比较相似输入并对模型运行测试。它利用结果反复改进解释,而不是生成一个标签后就停止。
另一个独立系统检验这段描述能否预测神经元在何处、以多大强度激活。预测不好时,反馈会交回研究智能体。
Tigges 说,简单的自动标签可能很含糊。在他们的测试中,让能力更强的智能体进行更多实验,可以使更多神经元行为变得可预测。
一个神经元在短片段中看不出共同主题。进一步研究显示,它可能对一份列表的第二项作出反应,而这份列表在更早处以不同格式出现过。
Labenz 问,智能体写出一段神经元描述后,团队如何验证解释是否正确。
Tigges 描述,他们先移除神经元的贡献,再让另一个模型根据描述预测其激活值,并把预测值放回原模型,衡量损失恢复了多少。
报告中的 74% 恢复率依据模型下一词预测分布的变化计算;神经元被移除后损失较大的情况权重更高。
另一项测试要求模型仅凭描述生成能强烈激活神经元的文本。团队还检查描述能否预测神经元是否与某段文本有关。
从神经元含义到回路
Tigges 讨论多重含义、控制信号及其与整体行为的距离。
Labenz 问,应如何判断一个神经元具有单一还是多个含义,因为一段描述可能包含几个相关概念。
Tigges 说,一个神经元可能对昆虫的食物、栖息地和产卵地点等偏好作出反应。把它们算作一个还是三个概念,取决于如何划分边界。
他认为,看似无关的一组内容可能存在人类观察者未看出的更高层共同解释。实际问题是研究者能否列出让神经元激活的内容。
Labenz 问,单个神经元的目录如何发展为对回路和行为的解释。
Tigges 把一些神经元描述为控制信号:它们可以引导模型继续、重新检查或改变推理方向,而不只是识别某个对象。
他说,即使分别理解每个神经元,仍然无法解释它们之间的关系。研究者还必须分析神经元形成的回路及其如何影响行为。
他说,安全研究既需要一般性的回路绘制,也需要有针对性地引出奖励作弊等目标行为,以观察哪些回路参与其中。
Tigges 举例说,一小组神经元与识别画家及艺术流派有关。他建议从单个神经元逐步研究到这样的群组和更大的回路。
Labenz 追问:大量小回路的描述与可靠预测整个模型在陌生情境中的行为之间,仍有多大距离。
Tigges 说,研究者已开始找到可能有用的监测信号,包括一个与某类奖励作弊有关的神经元。他提醒,一个信号未必涵盖这种行为的所有形式。
他把缺失的中间层解释比作科学中的高层概念:仅有微观部件清单,并不会自动给出描述系统所需的所有方式。
他建议结合自下而上的部件研究和自上而下改变模型行为的实验,再寻找两种解释的交汇处。
Labenz 认为监测和调试可能是应用方向,同时提醒,基于单个神经元的监测可能漏掉导致同一行为的其他路径。
Tigges 说,构建外部特征表示的工具仍可能有助于研究模型的其他部分,包括残差流。对神经元,他倾向于在可行时直接研究。
他还说,残差流仍然难以理解,需要更好的工具来研究其几何结构。
Labenz 问,如果神经元数量少于模型能够回忆的事实数量,事实存储在哪里。
Tigges 说,不必把每条事实都放在单个神经元中:神经元之间的连接可以表示的组合,远多于神经元本身的数量。
他说,在目前测试的事实性基准中,额外训练后性能下降有限;他也承认规模大得多的测试可能揭示损失。
事实、专家分工与模型设计
对话涉及神经元之间的连接和未来可能的设计。
每个词元对应的活跃集合都会变化。Tigges 说,因此即使每一步都很稀疏,不同神经元和连接仍能在不同位置发挥作用。
Labenz 问专家本身是否具有可辨认的专长。Tigges 说,团队研究的专家往往集中于少数主题。
他举出的例子包括法律文本、代数、几何、计时和特定医学主题。这些是团队对所研究专家的观察。
Tigges 认为,未来模型也许可以设计得让重要知识更加集中、行为更容易监测。他把稀疏性列为一种可能的设计方向。
Labenz 问,更简单的激活函数是否能让一些特殊情况更容易解释,即便需要在模型性能上作出取舍。
Tigges 讨论两个负信号相乘形成正激活的情况。他说团队尚未完全理解这些情况,计划继续研究。
两人回到移除弱激活后推理性能下降的问题。Labenz 问,为什么相对少量的训练就能让性能恢复。
Tigges 将训练量纠正为约一亿个词元。他说,这次运行使用几块 GPU,约用一天,相对于模型原始训练规模较小。
后续训练前,模型有时会反复检查或陷入循环。Tigges 认为其底层知识和推理机制仍在,但行为出现了校准问题。
他说,在测试过的数学、编程和事实性基准中,轻量再训练后的模型达到或超过原模型表现。他补充说,实际差异需要更长期使用才能评估。
推理、长上下文与下一步
Tigges 介绍稀疏模型的再训练和测试范围。
Labenz 问,即使短测试表现良好,弱信号在非常长的对话中是否可能更重要。
Tigges 说,团队测试了最长 3.2 万词元的编程任务;百万词元上下文仍需未来研究。不同任务似乎也需要保留不同数量的激活。
他描述利用归因图和神经元描述,推断一段文本中的实体及其关系。他希望类似方法将来有助于研究模型中较难直接看到的处理过程。
Tigges 说,神经元分析成本差异很大。他最昂贵的一次实验对单个神经元使用了约 45 美元的推理费用;他认为先广泛初筛、再深入研究困难案例更可行。
他鼓励其他人用较小的本地模型做实验,并感谢此前开展神经元层面研究的学者。
Labenz 感谢 Tigges 解释这项研究及其中尚未解决的问题。
同频道的其他文章
43:36EN → 简体中文
1:30:25EN → 简体中文
1:26:17EN → 简体中文
1:43:54EN → 简体中文
1:26:42EN → 简体中文
1:49:40EN → 简体中文