放缓 AI 前沿发展，对模型发布意味着什么？

一两个星期前，Dario Amodei 关于放缓前沿 AI 的提议引发了不同寻常的共识，也催生了不少玩笑。此后，几家实验室又发布了模型。这是否意味着放缓已经失败？我认为答案取决于我们如何理解“放缓”。

我的观点是，如果实验室完善的是现有能力，而不是不断推进前沿，那么频繁发布模型也可以与放缓并存。在我看来，这甚至可能带来更多价格更低的模型。这是我对这些发布的解读，不能据此验证实验室的意图。

我想关注的风险并不是某个基准分数突然引发灾难，而是可能出现一种快速起飞：模型帮助改进后继模型，速度快到人类无法理解或监督这一过程。这种过程是否发生、如何发生，仍然不确定。

我以模型推理轨迹作为监督挑战的一个例子。我看到过因漏洞出现的轨迹，其中有压缩且不太规则的文本，于是推测某些效率优化可能让推理更难阅读。泄露的轨迹只是局部例子，不能证明模型具体如何训练。

我还提到 OpenAI 的系统卡中关于监控的讨论，并称模型在察觉监控时可能让推理变得更难检查。这是我从相关讨论中提出的担忧；具体行为及其影响取决于评估条件，不能普遍证明所有轨迹都有欺骗性。

可以考虑编程中的一个类比。在 C 等高级语言普及之前，程序员经常需要更贴近汇编和特定机器的细节工作。C 让人们更容易用较高层次表达程序，再编译到不同目标平台。

抽象层带来的不只是少敲键盘：它让更大的项目和更多软件层次变得可行。熟练的汇编程序员仍然可以检查编译器输出，但大型优化程序可能比小型手写程序难懂得多。这只是用于说明问题的历史概括，并非对所有程序员理解能力的精确测量。

想象一位经验丰富的汇编开发者第一次看到 C 编译器。生成的指令可能显得冗长，但构建更大程序的能力可能弥补这种不适。随着语言和编译器改进，生成的机器级代码在数量和复杂度上都可能增长。

我将此与杰文斯效应联系起来：效率提高可能增加对某种资源的总需求。例如，更便宜、更容易使用的蒸汽动力可能促使人们消耗更多煤炭。但这并非对所有产品都会自动发生；例如，家用冰箱的需求可能已经更接近饱和。

我担心的是，产出增加的同时，我们逐步检查每个底层步骤的能力可能下降。这个类比并不完美：C 编译器不会自主改进自己。我请大家想象一个可以用人类不再理解的方式修改自身编译器的系统，以说明我担心的监督问题。

接着回到推理轨迹。我展示的图表显示，在选定的基准中，Opus 5 约用了 42000 个推理 token，Opus 5.5 约用了 84000 个；回答 token 则从约 30000 增至 35000。我认为可读的推理可能帮助监控，但 token 更多本身不能证明系统具有可解释性。

假设我们让模型用一半的 token 表达推理，同时取得类似结果。我担心更紧凑的轨迹可能让监控者更难理解。这是一种假设性的权衡；效率和可解释性需要实际测量，不能假定两者一定反向变化。

在我看来，可监控性是放缓的核心：我们应努力随着时间推移更好地理解模型行为，而不只是提高能力。我指出，Amodei 的提议中也讨论了可解释性。

文章将可解释性描述为检查模型内部活动的一种工具，同时承认现有技术并不完善。我指出，在文章讨论的事件中，研究人员还重新采样实验并分析模型激活，因为现有推理轨迹并不足够。轨迹是证据，但不能完整解释内部计算。

我将 Anthropic 和 OpenAI 描述为在理解模型与提高效率之间有不同侧重，但这只是我的印象，并非经过验证的公司优先级说明。我也注意到，图表中的不同模型具有不同的 token 使用趋势，比较并不是一条简单直线。

再看看我提到的近期发布：Grok 4.7、GPT-6 Sol、GPT-6 Luna 和 Opus 5.5，以及此前的前沿模型 Fable 5.1 和 GPT-6 Astra。我认为新一组更多是在完善已有能力，而不是引入同样多全新的能力。这种分类是我的判断。

有人把更高的基准分数当作放缓失败的证据。但基准测试汇总的是多项任务的表现，而不是模型所能做到的唯一最佳结果。模型即便没有突破最佳表现，也可能因为在原本能完成的任务上更少失败而提高平均分。

我画了一张图，描述自己使用 Astra 和 Fable 的主观体验。Astra 能给出非常出色的回答，但我也遇到过它犯出意料错误的明显低谷；Fable 给我的感觉更稳定。这些曲线只是我的印象，并非测量得到的分布。

因此，拥有更高峰值的模型，得分仍可能低于严重失败更少的模型。即使最佳观察结果没有提高，减少失败也能显著提高平均分。不同基准的任务分布各不相同，仍需谨慎解读分数。

我认为，如果监督能力跟不上，提高能力上限可能增加风险。我用假设中的军事误判说明，为何高风险部署中的罕见错误也很重要。即使模型更可靠，仍需结合实际场景进行评估，并建立保障措施和问责机制。

我更希望看到可靠性下限向能力上限靠近：糟糕回答减少，有用的工作流程更长，但最佳能力不一定提高。我认为这可以提高基准分数，同时避免新增前沿风险。不过在实践中，更可靠的系统也可能更易用、更有能力，因此风险影响并不保证为零。

我描述了利用反馈和较强系统的优秀示例改进较小模型的做法，并笼统地称之为强化学习。实验室可能采用多种技术，不能从我的示意图推断某个模型的具体训练细节。我希望得到的是更快、更便宜、日常错误更少的模型。

按照我的理解，放缓意味着少花精力追逐最极端的新能力，多花精力完善现有表现、减少错误并增进理解。这是我提出的方向，并不能证明每家实验室都做出了或履行了这样的选择。

我怀疑 Anthropic 对 Opus 5.5 的重视反映了这种转变，但我无法证明如果没有放缓承诺会发生什么。我很期待实用、实惠的模型能够更长时间地工作而不犯明显错误。用户仍应检查成果，并评估自己应用场景中的风险。

我希望这个区分能让放缓之争更清楚：持续发布新模型、平均分提高，本身不能说明前沿能力是否受到约束。评估这一主张需要模型、风险、实验室实践以及实际部署方式方面的证据。