当 AI 开始构建自身：Anthropic 关于递归改进的文章及其局限

Anthropic 的文章《When AI Builds Itself》讨论公司如何在工程与研究中使用 AI，并设想 AI 可能开发自身后继模型的未来。我觉得数据很有意思，但也对公司的安全表述和动机持怀疑态度。完全递归自我改进是假设中的未来，并非文章报告已经取得的成果。

我批评 Anthropic 的呈现方式带有我认为诉诸恐惧的营销色彩。这是我对其沟通方式的看法；安全问题本身和公司的内部测量可以分别评估。

Anthropic 表示，正将越来越多的 AI 开发工作交给 AI 系统。我认为这可能让人们离实现细节更远，同时扩大他们能完成的工作。如何保留理解与监督，是这场讨论反复出现的问题。

文章认为，如果这一趋势充分发展且算力足够，可能出现自主设计后继模型的情况。我将这种可能性与 Leopold Aschenbrenner 的 Situational Awareness 及其自动化 AI 研究员和智能爆炸示意图相比较。该图是预测，并非所有预测都已成真的证据。

Anthropic 明确表示，完全递归自我改进并非不可避免，目前也尚未发生。我认为它看起来越来越有可能，但在选择和判断研究方向方面仍有重要差距。公司还警告人类可能失去控制，我认真看待这一风险。

在先前的预测中，自动化 AI 研究员会推动有效能力迅速提升。我认为它与 Anthropic 的讨论有相似之处，但假设中的智能爆炸何时发生、速度多快仍然未知。

文章展示了从人们直接编写代码，到聊天机器人、编程智能体，再到智能体委派其他智能体的演变。图中越来越多的工作通过软件进行。这是对工作流程变化的简化描绘，并非衡量今天人类已不再参与的指标。

最初阶段描绘的是人们直接编写代码和文档。聊天机器人阶段增加了人们可以复制到工作中的生成建议；示意图将这些视为工作流程的不同阶段，而非定量比较。

聊天机器人能帮助人们开发软件，编程智能体能执行部分步骤。示意图随后加入子智能体和并行工作者。我说这能让一条指令产生多得多的代码，同时承认代码行数不能衡量质量。

在智能体把任务委派给子智能体时，我关注的是并行性：一条简短的人类指令可以启动多项工作。产生的行数本身几乎无法说明正确性、安全性或实用性。

最后一幅图设想一个闭环，智能体开发并训练未来模型。我强调图中没有人类，以及算力所起的作用。这样的循环能否存在、还会受哪些因素约束，仍不确定；文章本身也讨论了监督和其他瓶颈。

Anthropic 转向外部证据，包括它所说近期大约每四个月翻倍的任务完成时间跨度。我认为这是快速进展的迹象，同时注意到公司表示端到端的递归改进尚未实现。较短的自动化研究循环提供值得关注的例子，但不能证明系统能独立构建后继模型。

我提到受限的自动化实验和工具框架改进，将其视为值得关注的早期信号。它们都不能单独证明某个智能体能够在没有人类指导的情况下设计、训练并验证前沿后继模型。

文章引用 Claude 3 Opus 能处理人类约需四分钟的任务、Sonnet 3.7 约 90 分钟、Opus 4.6 约 12 小时。METR 的时间跨度基于人类专家完成任务所需时间，以及软件任务为主的测试集中指定的预测成功率，通常为 50%。这不意味着模型能可靠完成每个需人类工作 12 小时的项目，也不意味着它恰好运行 12 小时。

Berman 指出模型运行时间与人类任务时间不是一回事。他自己讲述智能体执行长任务的经历只是个案；基准则用人类完成时间来估计任务难度。

Anthropic 推算，如果趋势持续，2026 年需要熟练人员数天才能完成的任务可能进入模型能力范围，2027 年可能扩展到数周的任务。我认为进展可能比许多人预想的更早到来。这两种说法都是预测，并非已测得的结果；基准中的狭窄任务也不应推广到所有工作。

CORE-Bench 评估智能体能否使用论文附带的代码和数据复现已发表研究。文章报告成功率从 2024 年约 20% 上升到约 15 个月后接近饱和。这一基准结果不意味着模型能复现每一篇新的 AI 论文或独立提出其中的发现。

这一区别很重要，因为复现已有结果使用了现成的代码、数据和方法。发现问题并设计新实验是不同的步骤，即便复现工作本身可以成为有用的研究基础。

Anthropic 区分工程与研究。工程包括代码、基础设施和训练运营；研究包括选择实验、解释结果并决定下一步。我认为执行项目与选择值得探索的方向之间的区别很重要。

按照 Anthropic 的描述，工程师提供目标，模型可以解决实施细节，而研究人员仍负责选择方向。我认为执行正变得更容易，但项目成功还取决于测试和选择有价值的目标。

我介绍自己如何给编程工具不够具体的请求，例如附上错误截图并说“修好它”。根据我的经验，一旦我确定了问题，它们常能找到方法。我还提到 Sakana AI 在自动化研究方面的工作，作为该方向的另一个例子。

我说自己用 Codex 打开浏览器，并在 DigitalOcean 或 Vercel 等服务上配置基础设施。这是我的个人经历，并非对智能体成功频率或特定部署需要多少监督的受控测量。

Anthropic 表示，在选择目标和进行更广泛判断方面仍存在明显差距。我同意，相比可靠地决定团队下季度应构建什么，模型更容易在人的设定下执行任务。这并不意味着每个执行任务都很简单，也不意味着每个模型结果都正确。

我对比了修复导出按钮的明确请求、调查网络变慢的更广泛请求，以及下一步该构建什么的战略问题。我认为模型对最后一个问题的回答不那么令人满意。我所说模型无法从学到的数据中产生真正新颖的想法是个人观点，并非文章确立的事实。

Anthropic 报告称，截至 2026 年 5 月，其代码库中超过 80% 的合并代码由 Claude 编写，而在 2025 年 2 月 Claude Code 研究预览之前，这一比例只有个位数的低端水平。这是公司内部指标，工程师仍在指导和审查工作，并不能代表所有软件开发。

我转述了一位首席执行官的玩笑：Claude 编写代码的比例或许能解释漏洞。这是轶事，并非对 Anthropic 缺陷率的评估。公司自己的数字也不能确立与其他所有公司的比较。

一张图显示，每位工程师合并的代码行数在 2025 年底和 2026 年初急剧上升。我理解开发者为什么不喜欢用代码行数衡量：更少但可读且正确的代码可能更有价值。Anthropic 自己也提醒，代码行数增长八倍可能高估了生产力增长。

我认为可读、高效且真正解决问题的代码，可能比更长的实现更有价值。因此，公司图表应视为合并代码数量的度量，并注意其所述局限。

根据自己的经历，我将这一变化与 Opus 4.5 和 GPT-5 等更强的编程模型出现联系起来。图表显示的是随时间变化的相关性，并非对任何单个模型贡献的受控因果估计。

我讨论 Anthropic 内部使用 Mythos Preview，以及有关 xAI 员工通过 Cursor 访问 Anthropic 模型受限的报道。我认为依赖竞争对手的模型供应商是一种平台风险。我称 Anthropic 主要为了扩大竞争优势而不开放某模型，这只是对其动机的解读，并非已确立的事实。

我认为报道中对竞争对手访问的限制以及内部使用 Mythos，体现了战略动机。我对公司的原因有所猜测，但报道和内部访问图表不能证明发布决定的真正原因。

文章称代码行数增长八倍几乎肯定高估了生产力。我猜测 AI 生成代码可能质量较低，也可能是营销、销售、采用和文档成为瓶颈。单靠代码行数无法证明其中任何一种解释。

我的汽车比喻是：如果轮胎无法把动力传递到路面，仅有发动机功率也没有用。同样，更快的编程可能暴露发布、支持和采用方面的限制；这个比喻不能量化哪个限制最重要。

在 2026 年 3 月对 130 名 Anthropic 研究人员的调查中，受访者的中位估计是：对于原本就会完成的工作，使用 Mythos Preview 的产出约为不使用 AI 时的四倍。这是特定群体和情境下的主观估计；Anthropic 自己预计实际提升略低。

我将四倍估计与八倍代码行数相比，认为 AI 编写的代码价值只有一半。这样的计算不能支持该结论：两个数字衡量的结果、群体、基线和时段都不同。不能将二者相除来推断单行代码的质量或价值。

我还推测，即使模型保持不变，更好的工具框架和部署也可能带来收益。这些组织变化与员工调查是不同的事情；调查并未直接衡量未来潜力。

我认为即便模型能力停止提升，更好的工具、普及和消除其他业务瓶颈仍可能创造更多价值。更多软件项目也可能需要销售、营销、支持和维护人员。这些都是可能的影响，并不能证明 AI 会提高总体就业。

Anthropic 报告称，员工也使用 Claude 开展原本可能不会发生的工作，例如探索性工具和推迟的代码清理。我觉得这些“净新增工作”比只考虑替代现有任务更有意思。它能否创造持久价值，取决于做出了什么以及如何使用。

一些公司可能专注于通过自动化减少员工；我更愿意问哪些新工作因此成为可能。这是一种管理偏好和对商业策略的预测，并非对企业结果的实测比较。

我引用 Box 首席执行官 Aaron Levie 的观点：公司应该询问 AI 让哪些新工作成为可能。Box 是我频道的赞助商，我在直播中说明了这一点。这是一种战略观点，并非关于全经济范围就业的独立验证证据。

一位 Anthropic 员工说自己已五个月没有亲自写代码。我问工程师如何审查数量增加的机器生成代码，并提出 AI 也将协助审查。个人轶事不能证明所有员工都停止了写代码或审查代码。

我讨论 Levie 的观点，即软件项目扩大可能创造维护、安全、销售、客户成功和营销方面的需求。我认为这可以反驳就业崩溃的叙事。一家公司的经历或一篇社交媒体帖子不能确定跨行业的净就业影响。

增加就业的论点包括维护系统、应对安全问题和支持更多产品。同时，个别例子不能排除岗位被替代，也不能说明整个劳动力市场会发生什么。

Anthropic 的图表将 Claude Code 会话分为从琐碎任务到重大、开放式问题等类别。公司报告称较难类别的进步更大。其会话成功率使用 Claude 评判，工作负载变化也会影响趋势；这并非对所有生成代码的独立审计。

使用模型作为评判让我想到更广泛的问题：AI 越来越多地编写和评估代码，人们则可能离细节更远。我提到一种观点：思考可以委派，但理解仍然重要。模型评判可以帮助扩大评估规模，但也必须评估其自身准确性。

我担心，如果不再了解实现细节，人类维护或验证系统会更加困难。模型评判会话并不意味着公司的工作流程中没有人类审查。

Anthropic 报告称，许多员工在 2025 年底认为 Claude 编写的代码略逊于人类代码，而文章发布时认为两者大致持平。公司预计年内还会改善。这些是员工观点和公司预测，并非由前述两个指标之比证明的事实。

文章随后介绍一个范围明确的研究循环。模型重写用于训练小型 AI 模型的代码，在满足固定正确性检查的同时运行代码并测量速度。这是在给定目标下进行优化，并非自主发明完整研究议程。

Anthropic 报告称，2025 年 5 月 Opus 4 平均实现约三倍加速，2026 年 4 月 Mythos Preview 约为 52 倍。公司称，在其校准中，一名熟练的人类研究员需要四到八小时才能达到四倍。这是公司针对特定任务和配置报告的结果，并非一般生产力倍数，也不是对所有研究的直接比较。

优化示例为模型提供固定目标和固定正确性检查，让它迭代实现。报告的加速倍数指该任务中的代码执行速度，而非每位研究员工作速度都提高了多少。

我提到 Andrej Karpathy 的 autoresearch 项目，它使用智能体围绕明确的训练目标提出并运行实验。我也提到了他加入 Anthropic。这一项目展示了受限环境中的迭代实验，并不能证明不受限制的递归自我改进。

文章称 Claude 越来越擅长提出研究步骤。我认为充足的算力和并行实验可能减少高度可验证领域对人类研究判断力的需求，同时也承认实际算力有限。这是关于搜索如何扩展的假设，并非判断力不再重要的证据。

Anthropic 还研究了过去 129 次研究会话，其中人类在调查回到有用路径之前曾走过弯路。模型看到绕路之前的上下文并提出下一步；另一个可查看结果的 Claude 对建议进行评判。这些案例经过刻意筛选，均是人类决策存在改进空间的情况。

公司报告称，在这一筛选测试中，Mythos Preview 的建议有 64% 的时候胜过人类选择，Opus 4.5 的比例为 51%。由于样本选择和基于模型的评判，这不是对所有人类研究判断具有代表性的直接比较，而是公司在一组特定决策上报告的信号。

我再次区分设定目标、执行任务中间环节和验证结果。在我看来，人类仍提供大量全局判断和验证。随着模型进步，边界可能改变，但时间尚不确定。

我将提示和验证描述为工作流程的两端，AI 则完成中间越来越多的部分。这是理解我个人经验的一种有用方式，但实际边界因任务和模型而异。

Anthropic 认为，如果 AI 生成代码的速度超过人类检查速度，人类审查可能成为瓶颈。我再次提到创业界“想法便宜，执行困难”的说法：实现变得容易可能提升选择正确问题的相对价值，尽管执行仍包括产品、客户和运营。

公司将研究判断力描述为选择重要问题、判断哪些结果可信，以及何时认定某种方法走入死胡同。我同意这是一个重大差距。这是关于当前相对优势的表述，并不保证人类永远保有这一优势。

Anthropic 考虑了当前架构可能永远无法达到递归改进所需的完全自主研究能力。我引用 Edison 关于灵感与汗水的说法来对比想法和执行。公司认为，即便人类继续设定方向，许多常规实验的自动化仍可能让进展不断累积。

我说，当模型负责执行时，人类的指导可能引导多得多的工作。在完全可验证的领域，大规模搜索可能有助于弥补判断力不足，但算力、芯片、数据中心和能源仍是有限的。无限算力是思想实验，而非现有资源。

文章提出三种可能的未来。第一，模型进展可能停滞，但现有能力继续在社会中普及。Anthropic 认为这种情况可能性较低，但我同意，即使基础模型不再变强，采用、工具和组织变化仍可能产生重大影响。

第二种情景是效率持续提高、大量工作自动化，但人类仍选择研究方向并判断结果。我想象一家小型组织能完成规模大得多的组织的工作，但这个数量比较只是推测。工作流程中未加速的部分仍可能限制整体进展。

第三种情景是完全递归自我改进：AI 系统有能力自行构建后继系统。我问观众认为哪种情景最有可能。我的乐观态度和聊天中的回答都不能证明第三种结果不可避免。

在第二种未来中，即使大量执行工作自动化，人类仍参与引导研究。第三种情景假设系统具有构建后继系统的能力；两种情景都没有给出经过证实的到来日期。

Anthropic 表示，如果技术进步持续且 AI 获得相关研究能力，这样的未来是可能的。我将其与智能爆炸联系起来，但任何反馈循环的速度和后果都取决于目前尚不可得的证据。文章也讨论了可能的人类监督和验证，而非宣称所有人类角色都会消失。

我讨论了“永久底层”的概念：如果获得强大 AI 的收益取决于算力和资本，现有不平等可能被固化。我觉得这令人恐惧。这是一种推测性的分配情景，并非递归自我改进已被证明的结果，也不是社会流动必然停滞的结论。

如果资本能购买稀缺算力，我担心资源充足的人会积累更多优势。治理、所有权和获取机会都可能影响结果，因此永久底层是一种可能的担忧，而非已确立的经济规律。

Anthropic 表示，无法有把握地预测快速递归改进驱动的经济，并推测机器人技术可能随之发展。我质疑模拟能否解决等待药物效果证据的长期问题。更好的模拟可能有所帮助，但它本身不能验证药物对人的长期影响；现实世界的测试仍是独立的证据挑战。

Anthropic 认为，如果有效放缓能给社会和对齐研究时间跟上，可能有益，但警告单方面放缓可能让不够谨慎的参与者继续前进。我批评这一提议可能符合领先实验室的自身利益。这是我对动机的判断，不能证明公司的真实动机，也不能证明实验室有单一客观排名。

我将协调放缓比作比赛领先者要求所有人一起放慢，并认为这可能保住其优势。这个比喻表达了我的怀疑，不能证明公司的私人意图。

文章呼吁为协调放缓或暂时暂停创造选项，让多个实验室和国家能够相互验证行动。我质疑这是否可行，并提到 Anthropic 将其与军备控制比较：训练运行可能比导弹发射井更难被发现。这是政策提议，并非这种协调已经存在的协议。

文章称，验证需要的不只是宣布：参与者需要知道其他人是否真的停止、就条件达成一致，并处理违约的动机。它承认建立信任和监测都很困难。

我将文章概括为内部观察、预测和安全论证的结合。报告的工程与研究指标有参考价值，但来自一家讨论自身系统的公司。我询问观众的看法，在承认结果不确定的同时仍保持乐观。

当被问到我们是否注定失败时，我说我不知道，并倾向于保持乐观。我认为完全自我改进的系统是可能的，但预计人类参与在近期仍然重要。这是我的观点，并非关于安全或经济的确定预测。

一位观众询问语言模型的替代方案。我提到世界模型研究、Yann LeCun 的 JEPA 工作和 Ilya Sutskever 对新方法的兴趣。我没有完整阅读提及的每项工作，也无法确定哪种架构最终会成功。

我提到一些研究者正在探索世界模型或不同架构，但并不声称这些替代方案已被证明可以取代当前语言模型。它们最终的作用仍是研究问题。

我展示了用 Codex 制作的一个小网站，用来预测 Codex 额度是否会重置。它使用公开帖子、可能的发布和服务状态等信号；我将其描述为一个有趣的项目。它的预测不是经过验证的概率，也不是 OpenAI 官方重置时间表。

一位观众建议在额度重置或预测概率高时发送通知，我说可能会添加两者。我解释自己对额度重置的理解，并对比个人经历中不同公司的用量变化。这个网站和我的描述都是非正式的，不应视为订阅额度的保证。

最后我展示 Forward Future 及其通讯，提到 Ahmad Osman、Scott Santens 和 Dave Shapiro 的原创文章。直播中讨论的工作反映了 2026 年 6 月快速变化的产品与研究情况。