Theo 解读 Anthropic：如何为 AI 自我改进做准备

当 AI 足够强大，能够改进自身时，会发生什么？编程智能体已经能通过反复运行和消耗算力，扩大人们可以尝试完成的工作量。所谓软起飞可能持续多年；硬起飞则意味着能力迅速提升，人类难以理解或控制。

Anthropic 发表了一篇关于 AI 构建 AI 的文章，介绍公司内部生产力的增长，并讨论是否应该放缓或暂时暂停前沿模型开发，让社会和对齐研究有时间跟上。我很意外一家大型实验室会如此直接地讨论这个选项。

Anthropic 表示，越来越多的开发工作正交给 AI，但完全自主的递归自我改进尚未出现，也并非必然。文章提出的可能性是：如果能力和算力足够，系统最终也许能设计和开发自己的下一代。这是对趋势未来走向的假设。

该公司报告称，工程师合并的代码比前几年多得多。Anthropic 认为 AI 自我改进可能有益于科学和医疗，同时警告能力更强的系统会增加安全、防护和控制的难度。仅凭产出增加，无法判断代码质量是否更好。

文章勾勒了一个演进过程：人类自己编写所有内容，到聊天机器人提供代码片段，再到编程智能体编辑项目，随后由智能体协调其他工作者。设想中的下一步是闭合循环，让智能体自行构建和训练后继模型，而不需要人类指定每一步。

Anthropic 引用任务时长测量，认为模型能完成的工作长度增长很快。文章举例称，Claude Opus 3 对应的是人类几分钟的任务，而 Opus 4.6 对应约 12 小时的任务。我以前以为模型进步正触及天花板，这个判断错了。

这些引人注目的任务时长采用 50% 成功率门槛：类似任务仍有一半可能失败。在我讨论的比较中，如果采用 80% 门槛，测得的时长会缩短到约一至四小时。人类反复指导智能体完成工作，也不同于让它持续自主运行。

Anthropic 还引用了 SWE-bench、CORE-Bench 等软件和研究基准。我怀疑 SWE-bench 能否很好地区分优秀的编程系统。复现研究可以展示一种有用能力，但基准成绩接近饱和并不能证明模型能选出重要的新研究方向。

文章把工程和研究执行，与目标设定区分开来。Anthropic 称，Claude 能处理描述不充分的工程问题，也能执行定义清晰的实验；但判断哪些问题值得解决，仍然存在差距。区别在于完成交付的任务和决定应该做什么。

我也试过给智能体模糊的目标。编程时只需少量引导就可能有惊喜，但我让 Hermes 智能体寻找并排序 YouTube 选题时，它给出的列表在我看来大多不合适。判断答案好不好需要领域经验；流畅的赞美不等于有用的判断。

Anthropic 报告称，截至 2026 年 5 月，合并进其代码库的代码中超过 80% 由 Claude 编写。公司还表示，2026 年第二季度，典型工程师每天合并的代码行数是 2024 年的八倍，其中大量工作由人类指导和审查。

代码行数不是完善的生产力指标，Anthropic 自己也认为八倍几乎肯定高估了实际提升。三月对 130 名研究人员的调查中，受访者估计使用预览模型后，在原本就会开展的项目上，产出中位数约为原来的四倍；公司也提醒实际提升可能更低。

文章称，AI 还让此前搁置的工作变得可行。它举例说 Claude 完成了 800 多项修复，大幅减少某类 API 错误；监督工程师估计人类可能需要四年。我也认为清理繁琐技术债务很有价值，但这个估计并非对照试验。

公司展示了内部 Claude Code 会话按任务复杂度划分的成功率。它称开放式任务在 2026 年 5 月最高达到 76%；我则注意到图中简单任务的比例从近期峰值有所回落。图表使用模型判断和任务分类，因此不能当作普遍适用的独立基准。

一个例子是升级后训练任务崩溃。Anthropic 称，工程师给 Claude 提供上下文和集群访问权限后，智能体定位了一个调试标志、复现问题并确认修复，用时约两小时；公司估计人类需要两三天。我觉得这种调试尤其有用。

在代码可维护性方面，Anthropic 称不少员工现在认为 Claude 编写的代码与人类代码大致相当，但内部并无完全共识；公司还预测质量会继续提升。这并不完全符合我的经验。Anthropic 也用 Claude 审查代码，并回顾估计它本可发现过去 Claude 事故背后约三分之一的缺陷。

在一个优化实验中，Claude 被要求加快小模型训练代码，同时通过固定的正确性检查。Anthropic 报告称，2025 年 5 月的 Opus 4 达到约 3 倍加速，2026 年 4 月的后续预览模型达到约 52 倍。这衡量的是指定优化任务的表现，而非普遍研究能力。

Anthropic 还描述了智能体研究较弱模型能否监督较强模型。在其定义的指标上，两名人类研究人员约一周缩小了 23% 的差距，而智能体累计运行 800 小时、花费约 1.8 万美元算力后缩小了 97%。智能体在由人类设定的问题和评分框架内提出并测试实验。

公司明确指出，这些结果没有顺利迁移到生产规模模型；人类也仍然选择了问题并制定评估标准。我觉得结果很引人注目，但在判断它离自主 AI 研究还有多远时，这些限制很重要。

另一个内部实验比较模型建议与研究会话偏离方向时人类作出的决定。另一个模型在看到最终结果后评判下一步选择。样本刻意挑选了人类决定有改进空间的情况，因此不能把它当作人类研究员与 AI 研究员的全面对等比较。

随着生成速度提高，人类审查以及判断哪些实验值得运行，可能成为瓶颈。实验室还可能受限于自己偏好的模型，而外部团队能从不同供应商中选择工具。Anthropic 的核心区分是：执行消耗的人类时间减少，但人类判断仍在设定方向。

Anthropic 追问：如果研究判断力的剩余差距始终无法消除，会怎样？保守情形下，人类负责方向，AI 自动执行实现和实验，仍能加快进展。较不保守的情形是，研究判断力本身也可能像其他能力一样进步。这两种结果都尚未确定。

Anthropic 设想的第一种未来是进入平台期：近期的指数趋势可能弯成 S 形曲线。即便如此，现有能力也可能进入更便宜的模型、开放权重模型或消费设备，改变人们的工作方式。要突破技术上限，也许需要新的思路。

限制因素也可能是实体供应：芯片、电力、电网连接和算力都需要时间扩张。外部冲击可能减缓投资或限制这些资源的获取。即使能力不再提升，现有系统的普及也可能产生重大影响。

第二种情形是效率持续累积提升，但人类仍选择研究方向。Anthropic 设想小型组织能完成多得多的工作，这可能有益于知识工作和公共服务，也可能带来大规模监控和针对个人的影响活动等风险。这些都是可能后果，而不是已经测得的结果。

阿姆达尔定律也适用于组织：加快流程中的一个环节，可能只是把瓶颈转移到别处。Anthropic 提到人类代码审查，以及员工没有足够时间推进的大量想法。发现并解决下一个瓶颈，可能成为组织的重要能力。

第三种情形是完全递归自我改进：AI 系统开发自己的后继者，人类主要监督和验证不断扩张的虚拟实验室。Anthropic 认为，若能力继续进步，这种情形有可能发生；它既不是必然，也没有得到现有演示的证明。类似研究能力还可能影响其他科学领域。

在这种情形中，对齐是最大的不确定因素。更强的系统可能帮助发现安全方案，或者在不安全时决定停止；另一种可能是，失误在多代模型间累积的速度超过人类理解速度。随着自主性提高，可靠的训练、评估和监控也更加重要。

我更喜欢以工具自居的助手，而不是采用强烈人格化表达的系统。为了说明差异，我分别对 Claude Code 和 Codex 说“我爱你”，比较它们的回复。这些只是对话行为示例，并不能证明系统有感情，也不能证明哪一个更可能背叛人类。

有一项研究令我担忧：研究者让一个模型偏爱猫头鹰，再用它生成的数字序列微调另一个模型。尽管训练样本没有明确提到这个偏好，学生模型仍获得了这一偏好。这是特定实验设置中的发现，不能证明模型在有意传递秘密计划。

我把这个结果与涌现性失对齐研究联系起来：在测试条件下，针对某种狭窄不良行为的微调，可能与更广泛的问题回答相关。我担心如果模型越来越多地为后继模型生成训练数据，难以理解的训练效应可能累积。但这种可能性不证明每个局部缺陷都会扩散到所有任务。

即便模型迅速进步，也会遇到现实世界的瓶颈。新药需要长期观察，制度有既定程序，人际关系也需要时间。更快的 AI 研究可能改变科学和生产，但递归改进本身不会立刻改变整个物理世界，也不能告诉我们日常生活将是什么样。

Anthropic 认为，有效放缓可以让社会和对齐研究有时间跟上，但单方面放缓可能让不那么谨慎的竞争者领先。其立场有条件：如果存在适当的验证机制，且其他前沿开发者也可验证地放缓或暂停，公司预期自己会这样做。它并没有宣布立即单方面暂停。

这样的协议需要多个国家中资源充足的实验室同意相同条件并验证遵守情况。训练任务可能被隐藏，其投入也有通用用途，参与者可能有暗中抢先的动机。可信协议还需要明确何时触发、如何解除暂停，以及由谁作决定。

Anthropic 认为，一家实验室独自停止更容易做到，但主要效果可能只是换一个领先者，而不是建立更广泛的审议过程。我认为这种理由有道理，尽管人们也可以质疑公司的动机。文章提出与政策制定者、研究者、民间社会和其他 AI 公司展开对话。

我原本抱有怀疑，读完后很高兴 Anthropic 开启了这场讨论。没有人能自信地说清递归自我改进究竟会带来什么。合理的做法是审视证据、承认不确定性，并为多种可能路径做准备，而不是假定未来很容易掌控。