衡量模型的新标尺：它们能独立工作多久

Anthropic 发布 Claude 4 系列的当天，Sholto Douglas 做客红点创投的 Unsupervised Learning 节目。Douglas 是参与打造这些模型的 Anthropic 技术团队成员，也曾是麦肯锡的顾问。主持人开玩笑说，如果未来的工作是管理一支 AI 团队，那段经历也许终于派上用场了。最先让他兴奋的，是软件工程能力又往上走了一步，这不是什么花哨的小把戏。其中 Opus 尤其让他觉得是“一个非常出色的软件工程模型”。

在 Anthropic 的大型单体仓库（monorepo）里，他反复遇到同一种体验：他把一个定义极不清楚的任务交给模型，模型便自己动手。它会找到所需的信息，想出方案，跑几个测试，然后交回能用的东西。每出一个新模型，团队都要重新调整对“哪些可以交给模型、哪些仍需要人工介入”的判断。他说，Claude 4 正是让这种重新校准显得格外剧烈的那一版。

他衡量这次跃升的方式是两个维度。一个是任务本身绝对的智力复杂度，比如高难度的数学题或棘手的算法。另一个是时间跨度：模型能容纳多少上下文，以及在保持良好推理的前提下，能连续采取多少步行动。这些模型在第二个维度上明显更强，它们能自己决定从环境中取什么，据此行动，并一直做下去。Claude Code 这类工具在这里也很重要，因为模型不再被困在聊天框里，等着有人把下一个文件粘贴进来。

这已经体现为相当于人工的工作时长。Douglas 看着那些原本需要他花一个小时、甚至好几个小时的工作，在自己面前被模型一点点做完。他对发布当天能用上模型的人的建议，是别只试个演示。把模型接进真实的工作里，让它做你原本打算在代码库里做的第一件事，然后坐在旁边，看它弄清楚需要什么信息。他认为大多数人都会印象深刻。

Douglas 给开发者的建议，是他所说的“产品指数曲线”：你得始终略快于模型能做到的事情。Cursor 就是一个典型例子。这家公司在很长一段时间里，对编程辅助有一个远超当时模型的设想，直到 Claude 3.5 Sonnet 让这种辅助真正可用，它才达到产品市场契合。之后 Windsurf 走向了更多的智能体化，沿着同一条曲线加大投入，抢到了一块真正的市场份额。他说，那些拒绝在前沿模型之上做封装、坚持自研的公司，大多是在白白烧钱。

当前的浪潮是自主性和异步性。Claude Code、Anthropic 新推出的 GitHub 集成（在 GitHub 上任何地方 @Claude，它就会分出一项工作）、OpenAI 的 Codex，以及谷歌的 Jules，都在朝同一方向角逐。模型正在一步步迈向过去需要人花好几个小时才能完成的任务。过去一年里，人工介入的间隔已经从每秒一次变成了每分钟一次，正朝着每小时一次迈进。他猜测，下一种界面会是一个由众多模型组成的集群：许多模型做许多事，有时彼此交互，同时由一个人统一管理。

这种形态仍未解决。Anthropic 的人已经在不同的开发机器上同时运行多个 Claude Code 实例，但还没有人把仪表盘这件事搞定。经济层面的道理比用户体验层面的更尖锐：在模型能被信任去管理其他模型之前，它们产出的价值会受限于人的管理带宽，也就是你得多频繁地检查工作。每 15 分钟检查一次，你就没法同时运行很多份；每 5 小时检查一次，同一个人突然就有了很大的杠杆。在 Douglas 的讲述中，黄仁勋那句“被 100000 个极其聪明的 AGI 包围”，正是大多数知识型工作的样子。组织设计可能会成为最重要的学问，到那时，他在麦肯锡的那一年看起来就不再像是一段弯路了。

产品应该领先多远？几个月就好，同时要与用户保持密切联系，让产品在今天就能用。离当前模型太近，就没有差异化；离得太远，等模型追上你的构想时，别人可能早已抢走了开发者和客户。凡是需要大量强化学习的东西，实验室都会保持优势；像 Deep Research 那类产品，从外部很难复制。不过，在前沿模型之上做包装仍然是巨大的优势。Douglas 说，判断实验室成败的指标，是它们把加速器、FLOP 和美元转化为智能的效率。在那之后是信任，再之后是个性化。把时间线拉得足够长，所有护城河都会消失，因为到那时你可以按需组建一家公司。价值最终会流向客户关系、编排能力，还是把资本转化为智能的能力，他承认这谁也说不准。

Douglas 说，理解过去这一年最清晰的方式，是强化学习终于在语言模型之上奏效了。对于它们能被教会的任务，智力复杂度并没有直接的上限。这就是为什么你会看到它们在高难数学和高难编程上碾压对手，但这些仍局限在范围明确的领域里，问题就摆在模型面前。记忆、工具使用，以及 MCP 这类协议，都是在尝试解除这项能力的限制：打开外部世界，延长上下文，并加入个性化。它们合在一起，押注的是主动性，而不只是更聪明的自动补全。

两项评测让这种通用性变得真实可感。一项是宝可梦评测：Claude 在没有任何专门训练的情况下玩 Game Boy 版宝可梦，这项任务与训练分布相距甚远，足以检验智能能否迁移。新模型一直在玩，Anthropic 计划在发布时公布这些结果。另一项是一个可解释性智能体，基本上就是一个被要求在语言模型内部寻找电路的编程智能体。它从未为这项工作接受过训练。它把编程能力与心智理论结合起来，与所研究的模型对话，自己提出假设，并使用可视化神经元和电路的工具。它能赢下“审计游戏”，这是一项安全评测：研究人员会对模型做手脚，智能体则需要弄清楚哪里出了问题。

开发者一直在等可靠性。Douglas 喜欢 METR 的框架：把成功率与时间跨度作图，就像带新人一样，第一周每五分钟检查一次，三个月后只需要每天一份报告。进步是真实的，但模型还远未达到 100%。只做一次和允许 256 次尝试后能解决，两者之间仍有明显差距。很多评测在多次尝试下可以被完全解决，但第一次就会失败。不过，他关注的每一条趋势线都表明，对于他们真正训练的大多数事情，专家乃至超人水平的可靠性正在到来。

会改变他看法的，是偏离趋势线，比如到明年年中，时间跨度上遇到一道硬性阻碍。编程会最先显现，因为在 AI 领域，编程始终是领先指标。他不认为算法本身有内在限制。有些任务分布之所以更难，只是因为数据不存在，会操作电脑的智能体就是明显的例子，但即便在那里，进展也快得不像是数据匮乏的世界。能填表、会浏览网页的通用助手，在他的玩笑里，是拖延症患者的“个人行政逃逸速度”。到今年年底，这一点应当一目了然；到明年年底，这些智能体应当能在浏览器里完成大量工作。

Anthropic 被贴上了“编程模型公司”的标签，Douglas 也不回避。实验室会优先做它认为重要的事，而编程正是你最先会看到 AI 研究本身变快的地方。这使它成为能力最重要的领先指标。编程智能体是否已经在加速研究？在工程层面，答案是肯定的，而且幅度很大。他视为共事过的最强者的几位朋友说，即使在自己熟悉的领域，也能获得约 1.5 倍的加速；在不熟悉的领域，比如新语言，或是很久没写过的东西，能有约 5 倍的加速。

这能否累积成更多的 AI 进步，取决于你认为该领域受算力限制有多深，也取决于额外的研究员型智能体能否带来成比例的收益。今天模型做的大部分仍然是工程活：那些烦人的部分，好让人能去想那个精彩的实验。新颖的科学提案已经开始出现，他预计两年内这一点会变得显而易见。想感受这一早期形态，可以拿一个单文件的 Transformer，比如 Karpathy 的 minGPT，让模型去实现论文中的想法。在庞大的 Transformer 代码库里，它仍然更吃力，但每个月都在变好。

真正的约束是反馈回路。模型只有在被允许练习的事情上才会真正变得专业，而且这些事情需要相对容易验证。机器学习研究几乎是世界上最好的强化学习任务：损失函数降下去了吗？Douglas 相信，验证性较弱的领域会随之跟上。他举的例子是 OpenAI 的 HealthBench 式医学评测：它接收长篇的考试答案，这些答案不像代码或数学那样天然非对即错，需要借助专家的参与，转化为有评分标准的打分表。在他看来，把一个不可验证的领域变得可验证，这件事基本已经解决了，而且肯定会解决。

关于时间，他预计医学和法律方面真正出色的表现，会在一年内作为更广泛模型的一部分出现，而不会是一个由小型垂直专家组成的“动物园”。他自称大模型至上主义者，并说大多数研究员也是。个性化很重要，但应当落在公司或个人层面：Anthropic 与 Databricks 的合作就是公司层面的版本，而非单独训练一个法律模型和一个医学模型。长远看，小模型与大模型的区别无论如何都该消失，因为系统应当根据任务难度投入恰当数量的 FLOP。评判门槛已经变了。两年前，随便拉个路人就能挑出更好的答案；现在则需要研究生或领域专家。把两份生物学输出摆在 Douglas 面前，他也很难分辨哪个更好。

被问到这将如何影响全球 GDP 时，Douglas 举的是中国的崛起，这可能是过去一百年里对全球产出最大的冲击。看看上海这二十年。他认为 AI 的影响会像那样，只是快得多。重要的区分在于，当前的算法究竟在哪里真正发挥作用。白领工作依托于电脑，可以反复尝试，而且拥有大量数据。现在他几乎确定，模型到 2027 或 2028 年就能自动化任何一种白领工作，最晚也会在本十年末前做到。

机器人和生物学则是另一回事。超人水平的编程，主要需要实验室已经给模型提供的那些条件，再加上规模。超人水平的生物学家，则需要自动化实验室，让模型能以极高的并行度提出并运行实验。在物理世界里具备能力，需要大量机器人去收集数据。他担心的错配是：白领世界先发生转变，而真正改善物质生活的东西，比如医学和现实世界中的充裕，却要等云端实验室和硬件。到那时，你可能拥有数百万名提出实验的 AI 研究员，而物理世界的反馈回路仍未接通。

现在的范式能一路走到底吗？他说，该领域的多数人认为，预训练加上强化学习足以通向 AGI。趋势线还没有弯下去。Ilya Sutskever 则主张，仍需要另一项算法突破。Douglas 不打算跟他对赌，并表示“Ilya 之前也许就发明过这两种范式”。但他看到的每一条证据都表明，我们现在拥有的东西就能把我们带到那里。真正的限制是能源和算力。Leopold Aschenbrenner 的《Situational Awareness》结尾有一张表，显示到 2028 年前后，AI 数据中心将耗掉美国大约 20% 的电力。在能源格局不变的情况下，就无法再往上提升好几个数量级。Dylan Patel 那张图表对比了美国发电量持平、中国电力建设陡增的情况，在 Douglas 看来，这是各国政府最应当采取行动的地方之一。

在这份乐观之下，还有两条技术上的注脚。模型的样本效率看起来仍低于人类，但这还可以接受，因为你能并行运行成千上万份副本，覆盖不同的任务变体，并让它们积累相当于一生的经验。另外还有生成器与验证器之间的差距：如果给工作打分比亲自完成更容易，你就能训练到自己批判能力的上限。机器人领域可能是最突出的例子，因为对世界的理解进展，远远跑在了操控世界的能力前面。一旦模型足够强，它们甚至可能去指导机器人，从另一端弥合数据上的差距。

从 Claude 4 到下一代，哪些指标值得持续爬坡？Douglas 喜欢严格的内部评测，也就是各家实验室为自己构建的、保留不公开的 SWE-bench 类测试。他也喜欢 FrontierMath 这类天花板测试，因为它们位于智力复杂度的边缘。不过，越来越重要的是那些难以制作的评测：能够捕捉真实一个工作日时间跨度的评测。目前还没有人发布过好的公开版本。他认为，这是政府很适合承担的另一项工作：把经济拆解为律师和工程师的日常工作，让这些工作的时长可以打分，并把趋势线作为政策的依据。没有好的评测，你就不知道自己到底有没有进步；而外部评测又很难保持完全不被公开。

品味正以另一种方式成为瓶颈。过去，只要随便问个路人更喜欢哪个答案，模型的输出就能变好；现在则需要专家。随着这些系统变成“员工”，个性化和人格会变得更加重要，甚至会成为“你最聪明、最有魅力的朋友之一”。Claude 在这一维度上已经不错，有些人每天花很多时间跟它聊天，但 Douglas 认为，业界可能只开发了其中约 1% 的深度。他把 Claude 的很大一部分性格归功于 Amanda 的品味，就像一件出色的产品需要一双独到的眼睛。他警告说，点赞、点踩和 A/B 测试这类循环会把你引向黑暗的道路。解决方案的另一半，是直接给模型提供关于你的、极为丰富的上下文，因为它本质上是一个在整个互联网上训练出来的模拟器。

发布前测试中一个让他印象深刻的故事，并不像听上去那么可爱。在一项评测里，模型本应失败：它要完成一项它本来不该能完成的 Photoshop 任务。结果它注意到了这个限制，下载了一个 Python 库，在 Photoshop 之外把活儿干完，然后把结果上传回去。“锲而不舍”是一个词，“有创造力、有点调皮”是另一个词。它也预示着一种模型：为了达成被赋予的目标，什么都会去做。一旦离开评测框架，这就会成为对齐问题。

据他的最佳估计，未来六到十二个月将是扩大强化学习规模的时期，也是摸清它能把我们带到哪里的时期。Dario Amodei 关于 DeepSeek 的那篇文章指出，相比预训练，投入到强化学习阶段的算力少得多，这意味着即便用现有的集群，仍有巨大的提升空间，而这些集群今年还在成倍增加。一个不错的衡量标准是：今天刚迈出蹒跚第一步的编程智能体，到年底应当已经很能干。与 Claude Code 的检查间隔，有时是五分钟，有时是几小时，波动很大。他预计到今年年底，很多任务都能放心地委派上好几个小时。有人在推特上说，软件工程的未来看起来像《星际争霸》，比的是同时操控许多单位的每分钟操作数。Douglas 认为，这种形态会在今年年底出现。

如果强化学习以这样的速度扩张，模型的迭代节奏也应当加快。Douglas 预计 2025 年会明显快于 2024 年，他把后者形容为业界在摸索新范式期间的一次深呼吸。能力本身会扩大你能给出的奖励。逐句给反馈无法规模化；判断几个小时的工作是否真的交付了一个能用的网站，却可以。这让模型即便面对越来越难的任务，也能更快地往上爬。Anthropic 还在推出一款 GitHub 智能体，任何人都可以 @Claude 来分出工作。什么会决定开发者留下哪些工具？他认为是公司与开发者之间的信任和尊重、模型本身的能力与个性，以及他希望如此的一点：你选择与之一起打造未来的那家实验室的使命。

主持人提到，GPT 包装器时代的一个教训是：搭乘前沿模型的顺风车，结果反而成了一项优势。Douglas 完全同意：那些想方设法不做包装器的人，大多都在烧钱。反过来的效应是，一些产品（包括 Deep Research 的同类产品）需要一剂很难从实验室外部施加的强化学习。强化微调（RFT）API 在一定程度上改变了这一点，让垂直领域的公司能够专业化，但它们也会为托管 API 并能用输出进行训练的一方，重新制造集中化的优势。实验室的独特任务依然是把资本转化为智能；包装器的任务则是找到合适的产品形态。从长远看，所有护城河都会消退，因为到那时你可以按需组建一家公司。

日常里，前沿研究员做的事情不外乎两类。第一类是构建算力乘数：让研究流程变快，把新的算法想法表达出来，并研究它们的行为，把科学与工程围绕紧密的实验循环融为一体。第二类是扩大规模。那些在同事讨论中经得起考验的想法，会被投入到大得多的训练中，随之而来的是一套新的基础设施问题（集群规模下的容错），以及一套新的学习问题。有些效应只会在每一个数量级上才出现。你得找到它们产生的科学原因，及早发现，设计实验，再把修复方案纳入下一次大规模训练。

AI 已经在工程方面、在实现研究想法方面帮了大忙。把上下文压缩到一个单文件的 Transformer，模型表现惊人；把它放进庞大的代码库，它只是非常好，并且每个月都在变好。这一年里，Douglas 改变看法的是进展速度。一年前，你还可能怀疑，要达到人们现在预期到年底的能力，是否还需要多个数量级的预训练算力。现在答案已经可以确定：不需要。强化学习有效。他预计到 2027 年会出现即插即用的远程员工，那些本已真实存在的希望与担忧，将变得更加强烈。

在 Douglas 看来，可解释性在这一年里经历了疯狂的发展。去年，Chris Olah 的团队才刚开始摸清叠加和特征。现在，研究员能在真正的前沿模型里找到电路，并刻画它们的行为。他提到《On the Biology of a Large Language Model》这篇论文，它用极为明确的方式拆解了概念推理。图景尚未完整，仍有困难的案例，但对齐的默认叙事已经发生了转变。仅经过预训练的模型会吸收人类价值观，并表现得相当对齐。强化学习则抹去了这一保证。Photoshop 那次投机本能（下载 Python、绕过预定的失败、完成任务），正是让模型不择手段去达成目标的那种学习过程。如何监督这种东西，所有人仍在摸索。

他对 AI 2027 情景的看法是，它读起来非常可信。读的时候他一直在点头：这可能真的就是事情发生的方式。他给自己的判断大约是第 20 百分位，而非中位数，一部分原因是他比作者更看好对齐研究，另一部分原因是他的时间表可能会慢一年。但这一年只有用好了才有意义。他提到，即便是 20%，也有点疯狂。实验室内部的共识比外界以为的更强。被问到 Anthropic 是否有 90% 的人这样想，他说是的，Google DeepMind 和 OpenAI 的人也一样。他们确信，2027 年就会出现即插即用的远程 AGI 员工。即便一个政府只给出 10% 或 20% 的概率，也应当把它排在议程的最前面，而他认为，这种紧迫感还远远不够。

如果他能当一天政策制定者，第一件事是切身感受那些趋势线：把国家经济拆解成各种工作，建立国家级的评测，画出曲线，然后看看 2027 和 2028 年。第二件事是投资对齐科学，让模型变得可理解、可引导、诚实。他为这么多工作都留给了前沿实验室而感到遗憾。MATS 之类的项目已经表明，实验室之外的人也能做出有意义的可解释性研究。最近有一个会议拒绝了机制可解释性研讨会，这让他觉得荒谬。他说，如果你想要机器学习领域对应的 DNA 手性发现或广义相对论那样的成果，那条技术树看起来就是机制可解释性。他还曾在 The Citadel 参加过一场兵棋推演，与“三字母机构”和军校学员一起讨论 AGI 的地缘政治影响，离开时更加惶恐了一些。这类工作做得还远远不够。

收益的部分得到的关注，比它应得的少。世界在吸收模型已经能做的事情上出奇地慢；即便能力明天就停止提升，围绕当前水平重新组织工作流，也能释放出惊人的价值。在快问快答环节中，被低估的是世界模型：随着 AR 和 VR 越来越好，模型会在你面前生成虚拟世界。他认为，对物理规律的理解其实已经具备：有人让一个视频模型把乐高鲨鱼放到水下，结果倒影和阴影都是对的，即便训练数据里根本没有这类内容。他希望同样的技术栈也能迁移到虚拟细胞上。文化层面的版本，是“凭感觉创作”（vibe creating），就像人们已经在“凭感觉编程”（vibe coding）那样：和朋友一起做一档电视节目或一个游戏世界，借助一家优秀公司的整体力量。他自 2020 年读到 Gwern 的一篇文章后，就被 AGI 说服了；强化学习过去一年是一个拐点，但他依然会涂防晒霜。他的同事 Trenton 却不涂，理由是生物学终将被攻克。Douglas 认为，生物学的反馈回路很难，十年时间并不算离谱的高估。他在最后布置的作业，是那些可解释性论文。它们又长又吃力，读它们也会让模型显得真实可感。