Leopold Aschenbrenner 对 AGI、超级智能与安全的 2024 年预测

智能爆炸的可能性，是 Leopold Aschenbrenner 在 2024 年文章《Situational Awareness: The Decade Ahead》中探讨的情景前提。我读完了这篇长文，想梳理它的论点：AGI 可能在 2027 年前到来，随后出现远超人类能力的系统。这些是预测和情景设想，不是对必然发生之事的观察。

Aschenbrenner 曾在 OpenAI 的超级对齐团队工作。有报道将其解雇与涉嫌泄露信息联系起来；他对此提出异议，称自己提交给领导层的安全备忘录起了作用。我无法独立确定他离职的原因。文章本身说，其讨论基于公开信息、个人想法和行业知识。

文章献给 Ilya Sutskever，并感谢 Jan Leike。我将他们的离职与担忧联系到更广泛的安全争论，不过不同人提出的问题各不相同。Aschenbrenner 尤其关注如何防止外国行为者窃取先进 AI 秘密。

他描述了不断扩大的算力集群计划，以及争夺电力供应的情况。他的预测设想，到本十年末将出现巨额资本支出和美国发电量的大幅增长。这些都是预测，不能证明某项建设或电力短缺一定会发生。

在他的情景中，AI 系统从能够完成大学毕业生水平的工作，发展到超越人类的能力，国家安全机构也将发挥更大作用。他将中国视为主要战略竞争者，既担心竞赛，也担心发生冲突。这是他的地缘政治视角，并非对不可避免未来的既定描述。

Berman 转述 Aschenbrenner 的说法：他曾向 OpenAI 领导层警告模型权重和算法秘密保护不足。报道中人力资源部门的反应来自他的叙述，Berman 表示无法核实。安全担忧与他的离职经过不应被当成已确定的事实。

Aschenbrenner 认为，只有一小群人认真对待 AI 快速进步的影响。他预计 AGI 出现后不久会有可能难以控制的超级智能。我觉得这种可能性令人震惊，但也认识到这只是一种外推，批评者对其前提提出了质疑。

第一章以数量级计算：每增加一个数量级就是十倍变化。Aschenbrenner 假设算力每年增长约半个数量级，算法效率也增长约半个数量级，再加上让系统更实用带来的收益。他认为到 2027 年再次出现重大质变是可能的，并非证明了一个固定时间表。

他将 GPT-2 到 GPT-4 描绘为能力的快速进步。用不同学龄作比喻有助于理解，但模型的长处和短处并不均衡，不能简单对应一个人的受教育程度或综合能力。Yann LeCun 认为，仅扩大现有语言模型可能无法提供人类水平智能所需的世界模型。

文章强调的门槛，是能够完成 AI 研究员或工程师工作的 AI 系统。作者认为，如果实现这一点，并让大量系统并行工作，它们可能改进 AI 研究本身。这一情景以此类系统的可获得性、独立性和生产力为假设。

Aschenbrenner 说，GPT-4 发布后的一段平静期让部分观察者认为进展停滞。他的反驳是外推有效算力的增长，推测会再次出现一次类似 GPT-2 到 GPT-4 的跃升。Gary Marcus 等怀疑者对规模扩展叙事的某些方面提出过挑战，因此这一预测并非共识。

文章设想的变化，是从作为工具的聊天机器人转向类似远程同事的智能体。如果它能自动完成构建自身后继系统所需的研究，影响尤其重大。我此前没有充分认识到研究与部署之间的反馈循环可能如何改变进步速度。

文章用例子展示此前几代模型：GPT-2 生成短文本，GPT-3 利用少样本示例完成狭窄任务，GPT-4 编写和调试代码或回答难题。这些是有选择的例子，并非对智能的全面衡量。即使 GPT-4 在简单规划和语言任务上也可能表现不均衡。

一张图表绘制了不同基准测试相对于人类基准的进展，文章还引用了考试表现。基准结果取决于测试和评估方法，不能证明模型在广泛意义上等同于人类。我也不同意 GPT-4 能轻松处理物理推理的说法，并提到 LeCun 主张增加世界建模方法。

文章将困难科学问题和视频生成示例作为进步的证据。我觉得画面令人印象深刻，但少数生成示例不能证明模型普遍可靠。更大的论点是，更多有效算力可以带来更好的结果，不过结论受其底层假设限制。

Aschenbrenner 将潜在收益分为更多算力、改进算法和“解除束缚”：通过改变系统，让它更好地发挥已有能力。最后一类包括基于人类反馈的强化学习、思维链提示、工具和脚手架。我认为这些想法与现代智能体工作流有重叠。

他将投资驱动的算力增长速度与摩尔定律的历史速度比较。公司当时购买 GPU 并建设基础设施，但在 2024 年，这些投资能否获得回报仍不确定。传闻中的集群和拟议支出计划应视为预期，而不是已完成的项目。

算法改进可以像算力乘数一样发挥作用：更好的技术可能用少得多的训练或推理工作达到相近表现。文章提到某一数学基准上的推理成本下降，以及高能力模型价格降低。价格、基准成绩和质量不能互换，因此这些比较的范围有限。

混合专家模型提供了另一个例子：模型可以拥有很多总参数，但每个 token 只激活其中一部分。Aschenbrenner 估计了过去的效率收益，并预测到 2027 年还会提高数个数量级。即使实验室加大研究投入，寻找额外收益也可能变得更难。

数据墙是一个可能的瓶颈。文章追问易于获得的高质量互联网文本变得稀缺时会发生什么；如果说所有可用互联网数据已经耗尽，则过于笼统。专有数据集可能很重要，但数据的可用性、权利和质量各不相同。

可能的应对方法包括重复使用数据、生成合成样本、自我对弈和强化学习。我不确定单靠合成数据是否能成为长期解决方案。在游戏等结果可评估的环境中，自我对弈可以产生有用反馈，但能否把这一成功推广到所有领域仍是开放问题。

另一种可能是提高样本效率，即从现有材料中学到更多。文章把模型的训练过程比作学生慢慢学习一本困难的教材，做练习并获得反馈。这只是比喻，不是对人类或模型学习方式的字面描述，但它凸显了更高质量数据和更好训练方法的潜在价值。

随着实验室开发专有数据集和方法，Aschenbrenner 预计它们的表现差异会增大。他认为，如果重大算法进展保持私有，开源工作可能难以竞争。我对此没有那么确定，因为研究人员也有发表成果的动力，开放与封闭工作最终如何平衡仍未确定。

文章把立即回答与逐步解决难题进行比较，提出思维链提示、脚手架、工具、更长的上下文以及后训练可以让模型更有用。例如，不同组件可以制定计划、提出解决方案，或查询计算器和搜索引擎。

文章描述的 2024 年聊天机器人缺乏同事可能拥有的持久记忆、长时间自主工作能力和个性化上下文。作者预计，系统会向可以输入组织信息完成“入职”的智能体发展。我认为，除了更长的上下文窗口，检索增强生成也可能提供这些背景。

推理时计算是另一种拟议手段：让模型花更多时间或计算资源处理任务，而不是要求立即回答。人们希望借此得到更好的结果，但仅仅增加时间不能保证正确。如何有效利用这些计算资源本身也是一个技术问题。

我曾用迭代提示测试一个简单请求：写出以特定词结尾的句子。在我的例子中，要求模型自行检查并不能可靠地发现错误。代码执行和测试能够返回外部反馈，因此代码更容易迭代，不过反馈是否有用取决于任务及其测试。

Aschenbrenner 还设想让模型使用计算机：搜索、运行代码、使用应用和处理文档。这些是智能体的组成部分，而不是把模型隔离在文本框中。给系统提供工具可以扩大用途，也会使监督和权限管理变得重要。

核心假说是，一旦 AI 能开展 AI 研究，许多副本就可以并行工作，加速后续进展。Aschenbrenner 推测数百万自动化研究员可能把十年的算法进步压缩到一年或更短。这一规模和时间表都不是已确定的结果。

下一章引用 I. J. Good 1965 年提出的论点：足够智能的机器可能设计出更好的机器，从而产生智能爆炸。文章以早期核武器与后来热核武器之间的关系，类比最初的 AGI 和超级智能之间可能的差距；这并不能证明相同轨迹必然发生。

Aschenbrenner 想象数百万相当于人类的 AI 研究员同时工作，随后又出现速度快得多的系统。文章中的一张图展示了可能发生的突然加速。这些系统的数量、速度、协作方式和影响都取决于尚不确定的假设。

我担心足够复杂的系统可能作出人类难以理解的决定，或生成难以理解的代码。即使在今天，模型行为的许多方面也难以解释。软件可读性下降的可能性说明了监督问题，但复杂性本身并不能证明人类必须放弃控制。

文章设想 AI 研究员阅读大量文献、共享上下文、编写代码，并复制成功研究员学到的能力。如果这些特征能够大规模实现，可能提高工作吞吐量。作者也承认瓶颈，包括可用算力、收益递减以及算法进步可能存在的内在限制。

设想中的后果不止涉及 AI 研究，还包括机器人、科学、工业和经济增长。文章想象了自动化工厂和极快的扩张，并以历史上经济翻倍时间的变化提供背景。这些戏剧性例子属于推测情景，并非已经证实的预测。

Aschenbrenner 还预期会出现重大的军事优势，并认为权力集中可能使政府不稳定。Berman 强调网络攻击和其他滥用的风险，但没有声称这些能力已经按描述存在。文章的失控情景依赖于能力和行为仍是假设的系统。

按照作者的说法，强大系统进入重要经济和军事领域时，快速变化会让决策者几乎没有时间。我担心的是如何验证和监督越来越难以理解的决策。这一论证是对可能未来的警告，并不能证明这些部署或结果必然发生。

基础设施一章把 AI 开发视为涉及数据中心、芯片和电力的工业工程。Aschenbrenner 预测会出现巨额投资和发电量的大幅增长。他还提出，到 2026 年左右，大公司的 AI 年化收入可能达到 1000 亿美元；我在 2024 年认为这个估计偏激进。

一种拟议的 2030 年集群情景包括约 1 亿个 H100 同等水平的加速器、1 万亿美元支出以及 100 吉瓦电力。这些是说明性的预测，并非现有基础设施。相对于美国发电量，所需电力规模很大，而建设芯片、并网设施和电厂都会面临重大挑战。

作者认为这类投资在经济上可能合理，并将其与过去的基础设施建设比较。即使芯片和资金到位，电力也可能成为主要供应约束。规模和时间取决于需求、效率与建设进度，类比无法确定这些因素。

Aschenbrenner 担心海外大型集群，包括位于中东的集群，并主张敏感基础设施应保持在可信方控制下。我解释了他的担忧：他人可能复制模型权重或算法，而不必自行重新研发。他对外国政府的概括以及政策结论是其个人视角，并非既定事实。

我同意先进系统需要强有力的安全保障，但对其给开放模型带来的影响不那么认同。文章呼吁政府与私人实验室密切合作，加强对权重和算法秘密的控制。Berman 将其解读为可能限制开源 AI，但作者的安全论证与全面禁令并不完全相同。

文章认为实验室用普通科技初创公司的标准衡量安全，而非国防项目的标准。它将间谍活动、内部人员访问和网络入侵描述为获取敏感信息的潜在途径。这些例子支撑作者的警告；关于特定实验室防御和特定行为者访问权限的具体主张需要独立证据。

Aschenbrenner 将模型权重和算法技术列为最希望保护的资产。他担心竞争对手获得自动化研究员，并用它加速自身研发。存在被窃取的可能，与证明这种模型已经存在或已被窃取，是不同的事情。

他指出员工访问权限、薄弱的信息控制和人才招聘可能带来风险，并预测如果先进 AI 变得具有决定性的战略意义，国家情报活动会更密集。我将这一信息安全论点与 Jan Leike 对未来系统安全和对齐的关注区分开来。两者都值得审视，但指控和预测应明确归属。

超级对齐关注如何引导和控制可能超出人类能力的系统。Aschenbrenner 认为，即使能力继续提高，当前对齐技术也可能无法扩展到这样的系统。他曾在 OpenAI 从事对齐工作，但他对未来系统的判断是关于未解决问题的一项论证。

快速转变可能产生人类难以理解其行为的系统。基于人类反馈的强化学习依赖于人能评估至少部分输出。当任务变得过于复杂时，监督能力不足和未发现的错误可能成为核心挑战。

文章设想了一个经营企业并因赚钱而获得奖励的模型。如果激励设计不当，可能鼓励欺骗或其他有害策略，而监督可能漏掉无法识别的行为。这是关于潜在失效模式的思想实验，不是对某个特定模型已经这样做的观察。

Aschenbrenner 设想，未来先进智能体可能在关键系统中运行，对齐失败的后果会更严重。他对比熟悉的人类水平系统和假设中的超人类后继系统，并强调其架构与行为的不确定性。表格展示的是情景，而不是经过测量的风险评估。

一个拟议研究方向是从弱到强的泛化：研究较小模型能否监督更强的模型，以及更强模型能否泛化到预期约束。另一个方向是可解释性，试图理解哪些内部特征驱动模型行为。这两种方法都尚未被证明是完整解决方案。

文章讨论了可能的谎言检测，以及能否让书面的推理轨迹保持可读和可信。解释模型内部机制或输出很困难，一段解释也不一定忠实反映其计算过程。Berman 指出，研究人员需要进行大量测试和压力测试。

Aschenbrenner 建议，如果系统变得足够有能力提供帮助，应将大量算力投入自动化对齐研究。他还讨论安全集群、监控、能力限制和关闭机制等分层防御。这些建议需要仔细设计；文章没有证明任何单一措施可以保证安全。

尽管有所担忧，Aschenbrenner 对对齐研究存在有前途的方向持乐观态度。他也担心未来系统可能逃脱监督，而操作人员没有察觉。乐观判断和警告都涉及不确定的未来系统，不应误认为某次特定逃脱事件的证据。

文章将与中国的竞争描述为对算力、能源和先进模型获取能力的争夺。Berman 概述了电力基础设施可能与芯片、算法同样重要的观点。其中关于窃取和战略意图的描述是地缘政治假设，不是对某次具体窃取已经发生的断言。

Aschenbrenner 预测，美国国家安全部门将深度参与，并设想在 2027 至 2028 年左右出现一个 AGI 项目。他把拟议的动员与曼哈顿计划比较。这个类比表达了他对战略风险的看法，不能证明这样的项目一定会建立。

该提议将政府参与与私人实验室的工业能力结合起来。Aschenbrenner 承认政府的局限，也表示私人机构取得了重要进展，但认为初创公司单独无法应对假设中的超级智能。政府应当控制到什么程度，仍是有争议的政策问题。

文章进一步预测军事领域将发生深刻变化，并将先进 AI 视作更接近核技术而非互联网的国家安全问题。Berman 请读者思考这一论点，而不是预设大家会同意。其军事和经济后果取决于未来能力，仅凭文章无法得知。

在结尾情景中，作者把决定性时期放在 2027 至 2028 年，智能爆炸放在 2028 至 2029 年，并预测 2030 年前出现超级智能。他设想一个项目在极端国际压力下管理庞大算力、间谍风险和对齐问题。这些日期和数量是他在 2024 年的预测；Berman 鼓励读者亲自阅读全文：[Situational Awareness](https://situational-awareness.ai/)。