Dwarkesh Patel 为何提前预测 AI 自动化研究的时间

今年早些时候，如果有人问我距离超级智能还有多久，我大概会说至少接近十年。过去三个月，我与人讨论，并观察答案可以验证的任务上的进展后，大幅改变了看法。

我的中位估计是，在实验室继续全速推进的前提下，AI 大约会在 2028 年达到最优秀人类 AI 研究员的水平。我认为 2027 年也有可能，但认为晚于 2032 年的概率至少为 25%。我预计研究自动化后不久，模型就能在各领域达到至少相当于顶尖人类专家的水平。

根据 METR 对 Anthropic 范围明确任务的评估，AI 已经在加速 AI 研究。我还提到 OpenAI 和 Anthropic 的报告：AI 编码智能体的使用增加，Claude 主导的研究工作比例也在上升。

数学领域让我大幅更新了看法。在结果容易检验的任务中，模型从难以完成基本算术和竞赛题，迅速发展到解决困难的开放问题。我引用近期报告的一个千禧年大奖难题解答，说明变化有多快。

Toby Ord 指出，自动化证明的证据还不等于 AI 已经能够提出有力问题或开创新领域的证据。我同意这一区别对数学很重要，因为新概念的价值可能超过单个解答。但 AI 研究往往重视实证上更好的训练方法，即使它没有带来新理论。

以 Transformer 为例。注意力、残差网络等许多组成部分此前已经存在。其成功需要把几个已知部分组合起来，并进行大量小实验。我认为，在不同组合中持久而聪明地搜索，正是 AI 研究员可能擅长的工作。

AI 研究的某些方面不如数学那样容易直接验证。尽管如此，我认为其中足够多的部分可以检验，足以训练和评估强大的自动化研究员。2028 年的中位预测存在不确定性：自动化更困难可能推迟它，当前加速也可能让它在 2027 年实现。

我认为预测记录良好的一些研究人员预计，自动化研究员将在 2027 年超过最优秀的人类。Ajeya Cotra 指出，若用简单模型外推近期报告的加速，可能意味着进展极快。我不认为这种外推必然准确，所以我的中位估计更晚。

一旦 AI 达到最优秀人类研究员的水平，我预计进展将因三个原因加快：自动化研究员工作更快，每个副本都可能能力很强，而且可以同时运行更多副本。我估计，一个全天工作、速度为人类十倍的副本，每个自然周能完成大约 50 倍的工作。

这不会直接转化为研究进展加快 50 倍。实验算力等资源仍然有限，增加研究员的边际收益也会递减。我估计前沿实验室中相对少数的顶尖研究员贡献了大部分算法进展；即便如此，这种水平的副本仍可能大幅改变速度。

有些任务比其他任务更适合并行。智能体群未必能快很多地写出一本优秀小说，但形式化证明可以有数千个可独立检验的子任务。AI 实验室也有不同团队分别处理数据过滤、训练环境和高效内核；智能体可以并行探索不同方案。

即便有十万个合作者，也不会让项目加速十万倍。不过，对于实验可以拆分、结果可以验证的工作，我认为自动化劳动增加几个数量级却只能带来极小加速的情况不太可信。

初始加速之后，两种力量将相互竞争。递归自我改进可能让自动化研究员更快、更聪明；与此同时，有用的研究想法可能越来越难找到。哪种力量占上风，将决定加速持续还是放缓。

我认为两种结果的概率大致相同。在纯软件奇点情景中，自我改进的研究员可能在几个月内迅速逼近现有芯片的极限。在我称为“火花”的情景中，按今天速度计算的三到六年进展会在一年内发生，随后进展放缓，直到建成更多算力。

即使是较慢的火花，在我看来也会非常剧烈：我将四年进展压缩到十二个月，比作从 GPT-3.5 跃升到 GPT-6 Astra。我预计，如果再发生一次相当幅度的跃升，在结果相对容易验证的领域，系统的能力可能远超人类。

一个自然的反对意见是：许多重要技能需要现实经验，而不是能在数据中心自动评分的任务。我不认为所有答案都能预先写进模型权重。相反，我预计可验证任务上的训练会产生通用能力，让模型在陌生环境中快速学习。

这些能力包括寻找相关信息、制定和修订计划、记录经验以及与他人协作。我预计自动化工程师将创造多得多、时间更长且更复杂的强化学习环境，包括智能体长期建立公司或竞争的模拟经济体。

其他练习可能要求模型预测历史事件，或根据发现之前可获得的信息重新发现科学思想。我还预计，在线学习和样本效率——从有限数据中学习更多内容的能力——的改善会迁移到陌生的现实任务。

当前编码智能体已经能够在陌生项目中熟悉情况；根据我的经验，新模型也更善于协助抽象研究。我还以进化为类比：针对生存的选择产生了能完成许多原始压力之外任务的人类，而 AI 实验室会有意识地检验更广泛的迁移能力。

即使是超级智能学习者，也需要与现实世界互动。我猜它仍可能在部署后几个月达到专家水平。我以一些在进入新领域几年后就取得重大成就的年轻人为例，同时承认必须等待数月才能获得的反馈不可能立刻到来。

一个未来模型如果跟随首席执行官工作，可能并行阅读公司记录、采访员工和客户，但仍须等待季度收益等结果。在我的火花情景中位预测里，我预计各领域大约在 2028 年或 2029 年达到顶尖人类水平。

即使火花之后软件改进放缓，我预计 AI 仍会通过设计芯片和设施、协助建设来帮助扩大算力。这条路径可能需要数年才能达到纯软件奇点也许在数月内达到的终点。

在附录中，我解释为什么我认为关键 AI 研究问题有可测量的代理指标。样本效率和在线学习可以通过达到特定表现所需的数据、任务或时间来评估。我将 AI 研究分为预训练、后训练和推理效率三大部分。

可验证性有两种作用：实验室可以让模型在可测量任务中反复练习，训练能力；并行工作的智能体也能检查各自的贡献是否提高分数。对于预训练，一个可能的目标是减少达到给定训练损失所需的算力。

小规模改进不一定能够迁移到大模型。我建议通过对比不同规模的实验，训练模型预测哪些变化能够扩展。这可能让研究判断的某些方面变得可测量，但实验本身仍然需要算力。

更好的预训练既能提高通用能力，也可能让较小模型达到较大模型的水平。较小模型的训练和实验成本更低，可能支持更多自动化研究员并缩短反馈循环。我推测，快速的小规模训练可能超过耗时更长的训练项目。

对于后训练，可测量目标包括提升能力所需的算力和数据、模型学习陌生环境的速度，以及真实研究任务上的表现。对于推理，延迟、GPU 利用率和内存占用等指标可以直接测量。

我认真看待反对意见；它们降低了我对最极端起飞情景的概率估计。第一个问题是持续学习：今天的模型不能可靠地积累数周或数月的工作经验，这曾是我怀疑顶尖研究员会在近期被自动化的主要原因。

我的看法改变有两个原因。更长的有效上下文可能让单次会话保留更多经验；而模型也不一定必须已经具备持续学习能力，才能帮助发明它。尽管如此，这些能力可能无法解决，也是我给 2032 年之后的时间线赋予较高概率的原因之一。

第二个反对意见是，可测量的正确目标本身可能需要研究判断，尤其是在范式发生变化时。我的回应是，Transformer 改进了已有的翻译基准，推理模型改进了已有的数学和编码基准。更广泛的测试也可以衡量新科学问题或陌生游戏中的表现。

第三个反对意见涉及数据。我与 Jerry Han 的研究发现，在我们研究的时期内，训练数据的改进对算法进步的贡献超过模型变化的三倍。但过滤现有数据和生成合成数据本身也是研究任务，我预计智能体会越来越多地将其自动化。

最后，实验需要真实算力和时间，不像用推理解决数学问题那样。我估计，如果前沿算力继续按近年的速度增长，到 2027 年末，大型实验室可能为数千个智能体提供可观的每日实验能力。这一估计依赖这种增长持续。

今天的研究组织方式反映了专家时间相对于算力的稀缺。如果瓶颈转移，自动化研究员可以用劳动换算力：精心设计小实验、检查每次训练过程、修复失效环境，并更仔细地分析集中资源进行的实验。

它们也可以改进从小实验中学习的方法。缩放定律以及从小模型迁移超参数选择的方法，已经显示较小的运行如何为更大规模的实验提供信息。我预计自动化研究员将寻找更多这类关系。