AI 多快能改进自己？四位预测者意见不一

Jane Street 的 Ron Minsky 回忆起他在 2011 年主持的一场辩论：Robin Hanson 与 Eliezer Yudkowsky 讨论 AI 能否快速改进自身。15 年后，他召集预测者进行讨论，而不是再办一场正式辩论，探讨技术可能走向哪些道路，以及这些道路意味着什么。

Minsky 介绍了 Epoch AI 的 Jaime Sevilla、Ege Erdil、Ryan Greenblatt 和 Daniel Kokotajlo。他说，虽然他们对速度的预测不同，也有一些共同假设。他首先请大家描述合理的情景，而非给出一个确定的预测。

Erdil 质疑，中位数预测能否反映可能走上截然不同道路的世界。如果快速成功和慢得多的发展路径都有相当大的概率，那么数字上的中间值可能无法准确描述其中任何一种情景。

Erdil 说，一个重要的不确定因素是，AI 能从实验室里可以模拟或验证的任务中学到多少东西。如果这类训练只需要少量额外的真实世界经验，就能培养出通用规划和协作能力，他认为进展可能迅速加快。

他认为，未来几年发生这种快速发展的概率约为 20%。在占比更大的其他情景中，他预计进一步进步需要物理投入，包括更多算力和真实世界数据，而实验室无法同样自由地扩大这些投入。

Erdil 预计当前算力增长最终会放缓，进步速度也会随之下降。他对几乎所有工作都能自动化的时间给出的粗略中位数预测约为 15 至 20 年，同时仍认为快得多的情景有相当大的概率。

Minsky 问，限制因素是需要让 AI 在整个经济中普及，还是仅仅需要获取更多数据和设备。Erdil 区分了两者：即使法律或医疗等行业采用缓慢、总体 GDP 没有立刻激增，反馈循环仍可能需要更多芯片和电力。

Kokotajlo 提出了一种更快的情景，同时说明具体年份存在不确定性。他认为，到 2028 年底 AI 研发完全自动化的概率约为 50%；在竞争中，实验室会持续提高模型完成研究任务的能力。

在这种情景中，AI 系统会做实验、分析结果并协调研究，就像公司内部的另一家公司。人类可能仍会阅读报告、批准重要决策，而日常工作则实现自动化。

Kokotajlo 预计，这种反馈会显著加快进展，可能在几个月到一年内产生在大多数任务上胜过最优秀人类的系统。随后，他设想机器人和实体生产迅速进步，经济与军事力量也发生重大变化。

他担心的是，如果能力很强的系统获得权力时，其目标还没有稳固地与人类意图对齐，人类可能失去控制。他称这是他认为最可能出现的单一情景，同时强调其他许多未来仍有可能。

Sevilla 介绍 Epoch AI 的起点：画出 AI 发展和影响的重要指标，再问如果这些趋势持续会怎样。他把这作为检验加速或减速观点的基准，而非指数趋势永远持续的证明。

他认为这个基准位于 Kokotajlo 预测的快速上弯与 Erdil 认为投入约束带来的减速之间。近期速度已经反映了一部分推动和限制进步的力量；Sevilla 希望找出相关指标，观察它们比预期增长得快还是慢。

Sevilla 说，相互竞争的力量可能彼此抵消：容易自动化的任务和容易获得的算力可能耗尽，而 AI 辅助研究可能加速发展。他会先在近期范围内外推当前趋势，再根据新数据揭示的主导力量更新判断。

Greenblatt 问，哪一种趋势值得外推。他指出，如果把近期企业收入或自动化增长延伸几年，结果可能非常惊人；从定性上比较 GPT-3 与当前系统，也能看到 AI 能力有了大幅跃升。

Minsky 提醒，许多看似指数增长的曲线最终会变成 S 型曲线。他举了人口预测和处理器时钟频率快速提升结束的例子，并问预测者如何判断外推何时仍然有用。

Sevilla 同意，选择趋势和估计其极限需要专业知识。他说，尽管最终的物理与经济限制不可否认，短期外推对某些 AI 收入的预测效果仍然出人意料地好。

大家讨论了一些证据：在注重推理的系统出现前后，某些能力指标加速了。Sevilla 认为关键问题是，这个转折代表持续加速，还是一次性变化，之后又进入一个大致呈指数增长的阶段。

Minsky 区分了指数增长和增长率本身上升：前者是某个量以大致固定的百分比增长。他说，数学上的奇点并不是说物理世界真的会出现无穷大；令人担忧的是变化可能变得极其迅速。

Erdil 说，他过去的一些预测低估了进展，包括数学基准测试的进步。这些经历让他更谨慎，但他仍预计，如果在当前投入增长速度变得难以维持之前，AI 无法将足够多的研究自动化，约束就会发挥作用。

Kokotajlo 同意算力增长可能放缓；分歧在于，未来几年 AI 辅助研究可能在相反方向上推动多少进展。Greenblatt 补充说，即使一个增长来源减弱，芯片改进、劳动力和训练效率仍可能继续贡献进步。

Minsky 问到 AI Futures 模型中的“研究品味”。Kokotajlo 把它定义为研究人员每次实验能学到多少：选择有决定性的测试、得出正确教训、选好下一项实验，而不是追逐许多死胡同。

Kokotajlo 说，当算力是瓶颈时，仅仅加快编程未必能加速大型实验。更好的研究判断可能减少所需的昂贵实验次数。他的模型通过对 AI 研究能力如何随时间变化的假设来表示这种改进。

Greenblatt 说，重要的不确定性仍然存在：小型实验能揭示多少关于前沿规模训练的信息？更好的代码实现能让编程工作在多大程度上加速大型实验？答案会改变工作量、工作速度和研究判断力各自的相对重要性。

Sevilla 认为详细模型能提供信息，但难以评估。如果研究品味已经在提高，他预计其中一些影响会出现在观察到的进展中。他希望同时观察能力指标和企业收入，寻找增长率持续变化的迹象。

Greenblatt 希望找到比收入更早的指标，因为收入可能受到采用速度、政府政策和数据处理规则的影响。直接衡量 AI 研究进展，可能比等待它体现在发布的模型或企业收入中更早发现加速。

Minsky 问，预测者如何避免复杂模型只是在编码自己的先验信念。Kokotajlo 承认，增加参数会给偏差留下更多空间。他说，详细模型主要是用来组织相互竞争的观点、检验它们如何相互作用，而不是因为模型复杂就应该相信其预测。

模型可以同时表示算力扩展放缓和自动化研究带来的加速，并明确写出对两者强度的假设。Erdil 补充说，模型能暴露不一致的直觉：一旦写下假设，自己偏好的时间表可能需要连作者都觉得不太合理的参数值。

Greenblatt 说，即使只是中等程度的加速，也可能很快产生能力很强的系统，而监督可能跟不上。无论系统是否对齐，快速转变都可能重新组织社会，因此针对多种可能结果做准备都有价值。

Kokotajlo 列出他希望社会应对的风险，包括失控、权力集中、地缘政治冲突、工作受到冲击，以及生物能力遭到滥用。他倾向于更慢、更谨慎地发展，尤其希望避免不受约束的递归自我改进循环。

他认为，把人从开发循环中移除，会让速度和控制都更难管理。如果一个没有对齐的系统设计它的继任者，他担心继任者可能继承的是该系统选定的目标，而不是人类选定的目标。

被问到较长时间线的视角时，Sevilla 强调提高公众理解，而不是提出某项具体政策。他说，Epoch 的作用是提供测量和分析，让其他人能够思考这项技术并选择行动。

他希望实验室分享更多目前外界无法观察的趋势信息。Greenblatt 同样呼吁提高透明度，并让独立机构能够核查；不过他表示，透明度本身可能无法解决他所看到的风险。

Erdil 说，他的工作是让模型和智能体群按照用户意图行动。在他看来，不受欢迎的行为既会降低商业实用性，也会引发安全问题。他预计这种压力会让企业更加重视行为可靠性。

他还担心，快速扩张的 AI 机构缺乏调查严重事故的成熟流程。他把因果调查和预防的需求与航空业已经建立的安全实践相比较，并怀疑这样的制度能否瞬间建成。

Greenblatt 区分了让产品在商业上可用的激励，与把风险降到社会可接受水平的激励。短期补丁可能让产品得以部署，却没有解决更深层的问题；他也提出对安全和篡改的担忧。

Erdil 同意组织变革可能需要时间。他希望更好地衡量研究进展是否在急剧加速：适合两年内完成转变的行动，可能与适合较慢转变的行动有很大不同。

Minsky 请嘉宾考虑更怀疑的观点。历史上，人们常常高估一项新技术覆盖所有领域的速度；人类和机器的能力都可能不均衡，而早期 AI 预测之后曾出现漫长、令人失望的寒冬。

嘉宾讨论哪些历史比较恰当。国际象棋和其他狭窄领域的成功并没有立刻让所有认知工作自动化；尽管如此，几位发言者认为，近期跨任务的广泛进展有所不同。Minsky 提醒，不同时代的专家与公众预期并不一样。

一位嘉宾回忆，他曾预计，从流畅的对话模型到广泛自动化之间的间隔会很短。此后经历的几年让他重视另一种可能：关于 AI 研究自动化的有说服力的叙事，也可能漏掉困难步骤。

另一种回应认为，现在的相关证据已经不限于单一游戏的表现。这位发言者看到许多计算机工作都有显著进步，即使智能体仍会犯一些笨拙的错误或需要变通方法。

Minsky 问，为什么令人印象深刻的能力没有更明显地体现在生产率统计中。一位嘉宾认为，AI 收入规模和采用所需的时间都很重要：今天总体影响有限，并不一定与一个仍然较小的领域快速增长相矛盾。

讨论转向编程。嘉宾在这里看到了更直接的任务层面收益，并讨论了资本支出作为潜在领先指标的可能性。他们承认，衡量整个经济的影响比考察某一具体工作流程更难。

被问到什么可能证明自己的观点错误时，Sevilla 说，他可能低估了在没有广泛经济部署的情况下，单个数据中心内部能够取得多少进展。Erdil 说，未来几年应该能提供大量证据，说明仅靠软件的快速起飞是否可能。

Greenblatt 描述了两种可能：AI 研究可能在系统通用能力低于预期时就加速；也可能有许多难以训练的能力形成长尾，推迟完全自动化。任何一种情况都可能让基于其他领域进展的预测产生误导。

Kokotajlo 提出另一种不确定性：公开谈论 AI 竞赛和递归改进，可能帮助人们做出更好的决定，也可能促使有影响力的参与者加快行动。他说，他的工作部分建立在讨论能改善判断的希望上。

观众首先问接下来可能出现哪些能力。Sevilla 提到更强的计算机操作能力、运行时间更长的智能体和机器人，同时指出机器人基准测试还不够成熟，仅凭演示很难衡量进展。

Greenblatt 预计，反馈周期短且成本低的任务会进步得更快，因为它们更容易训练和验证。他还区分了围绕可衡量目标进行迭代改进，与提出一个好的新想法；两者之间的差距可能导致不同领域的进展不均衡。

被问到什么会让他们停止当前的安全或能力研究时，Kokotajlo 说，如果对齐和控制问题得到解决，或者出现更紧迫的问题，他会改变重点。Erdil 说，可靠性问题已经让他的部分工作转向对齐；如果研究加速指标发生巨大变化，他会更认真地重新考虑。

一位观众问，开放模型能否帮助防御危险的 AI。Greenblatt 认为开放有利于独立科学研究，但也要权衡能力更广泛可用可能带来的网络和生物风险。他怀疑，给每个人另一个未对齐的系统是否足以构成防御。

另一个问题是 AI 系统何时会成功、经常地欺骗人类。嘉宾说，答案取决于定义，并指出模型已经可能产生误导性行为。他们将这与更严重的情景区分开：自主群体在没有监督的情况下控制大量计算资源。

他们对这样的自给自足群体多久可能出现意见不一。这段讨论明确属于推测：嘉宾考虑系统是否需要赚钱、通过其他方式获得算力，或者克服安全和法律障碍。

最后一个观众问题涉及公众抵制、监管和抗议。Sevilla 预计社会会对 AI 出现强烈反应，包括对工作的担忧；Erdil 预计社会和政治阻力会减缓发展，但不确定会减缓多少。

Kokotajlo 欢迎争取更多时间，并认为限制措施应该涉及内部部署和递归改进，而不是只限制 AI 在各职业中的使用。另一位嘉宾指出，一些开发者自己也公开表达担忧，这可能影响政治反应。Minsky 向嘉宾和观众致谢。