冲刺时刻：Ajeya Cotra 为超级智能到来前的几个月准备的剧本

这期《Cognitive Revolution》节目转载自 80,000 Hours 播客，由 Rob Wiblin 与 Ajeya Cotra 对谈。主持人 Nathan Labenz 介绍说，AI 圈内人一直把她视为对未来最严谨的思考者之一，她最近在 AI Digest 2025 预测调查中从 400 多名参与者中拿到第三名，这一点也印证了这种评价。Nathan 自己排在第 23 名，进入前 5%，他说这让他颇为自豪。Nathan 表示，Cotra 自 2018 年起从事 AI 研究与战略工作，2024 年在 Open Philanthropy（现已更名为 Coefficient Giving）领导技术性 AI 安全资助，现在在 METR 从事风险评估。

她用“冲刺时刻”一词来指代下一阶段：这可能是一段较短的窗口期，AI 强到足以大幅加速 AI 研发，却还没有完全超出人类控制。Nathan 提醒说，即使是主张加速的人，听完这场对话也可能感到未来冲击，因为 Cotra 认为，全面、层层叠加的自动化很可能不存在无法逾越的瓶颈。如果这个判断成立，2050 年的世界可能与今天的差别，就像今天与一万年前的狩猎采集者所处的世界之间的差别。Nathan 还表示，除了透明度和早期预警之外，前沿开发者正逐渐趋同于一种策略：用每一代 AI 去对齐、理解并控制它们的后继者。

Nathan 签署了未来生命研究所 2025 年 10 月呼吁禁止超级智能（superintelligence）的公开信。他并不是认为那种递归式计划注定会失败，而是担心我们对 AI 的理解还不够深，不足以拿结果去下注。他仍然同意 Cotra 的实用建议：不管做什么工作，都要尽可能激进地采用 AI，既为了对局势保持准确的判断，也因为没有 AI 你就跟不上。他甚至表示，就连 Pause AI 的活动人士也应该大量使用 AI。原节目播出两周后，也就是 3 月 5 日，Cotra 在她的 Substack 专栏 Planned Obsolescence 上发表了《我又一次低估了 AI 的能力》，文中提到她 2026 年 1 月做出的预测已经开始应验。Nathan 补充说，据报道，Anthropic 的 Mythos 模型在所有主流操作系统和主流网页浏览器中都发现了零日漏洞。他认为，冲刺时刻可以说已经到来。

Wiblin 一开头就回放了两年半前那次访谈中，有多少内容如今已经成了寻常事。Cotra 当年提到过 METR 对自主能力的评估，如今这份评估在政策圈里被广泛阅读；提到过能监测并切断危险对话的探针，如今它已是机制可解释性（mechanistic interpretability）中最实用的成果之一；提到过思维链监控；提到过态势感知的增长与欺骗性对齐；提到过一个发现，即训练模型不要做坏事，可能只是教会它们更好地藏起来；还提到过，强化学习重新加入之后，模型会变得更会耍心机、更谄媚。Wiblin 并不是说这些想法都是她首创的，只是说她比大多数人领先了一步，所以他希望听到下一批判断。

Cotra 的工作假设是，如今人们在 AI 几乎所有问题上的分歧，都取决于他们预期 AGI 会在多大程度上加速科学、基础设施和制造业。她一直在观察这个词本身变得越来越主流，也越来越被稀释。去年她在纽约的一场 DealBook 论坛上，主持人先问：到 2030 年，AGI 即能做人类所能做的一切的 AI，这种情况会不会发生的可能性超过一半？七八只手举了起来，她没有举手，因为她的时间线稍长一些。几个问题之后，主持人又问：未来十年，AI 创造的就业岗位会不会多于它消灭的岗位？十个人里有八个举了手，她同样没有举手。

她感到困惑：一个人怎么可能一边相信五年内 AI 就能做好最优秀人类专家能做的每一件事，一边又相信未来十年就业会净增长？之后她追问几个人，对方立刻改了口。AGI 到底是什么意思？我们其实已经有了；人们一直在挪动门柱；我们不断推出很酷的产品，而公众不接受这个标签。奇点时代那种旧定义本身就很极端。Cotra 说，风险投资人有种本能，想把 GPT-5 称为 AGI，或者叫个温和得多的名字。于是出现了这样一种局面：人们觉得自己手里有大量证据表明 AGI 没什么了不起，因为他们已经拥有它了，或者两年前就拥有了，而环顾四周，发现并没有太大变化。

不管 AGI 会不会在未来几年到来，已经有很多人开始不再在意这个问题了。他们仍然预期，接下来的 25 年或 50 年会像过去的 25 年或 50 年一样展开：技术发生温和的变化，而 AGI 是这种温和改进的引擎。Cotra 认为，到 2050 年，世界很有可能与今天的差别，就像今天与狩猎采集时代的差别一样大，即经过一万年的进步，动力来自 AI 自动化全部智力活动。在另一个极端，是《如果有人打造它，所有人都会死》（If Anyone Builds It, Everyone Dies）一书中的世界观：超级智能骤然出现，人类在它面前如同猫或蚂蚁，并立即对物理世界产生影响，典型的例子是纳米技术和接近光速的探测器。她说，那些担忧生存风险的 AI 未来学家，共同点在于预期未来几十年会出现某种形式的极端进步。

她最有可能的图景更为具体。她预计，2030 年代初会出现 Ryan Greenblatt 所说的“顶级人类专家主导型 AI”：一种系统，在所有需要通过电脑远程完成的工作上，都比任何人类专家做得更好，从病毒学到软件工程皆是如此。到那时，较弱的系统已经改变了世界。在那之后，事情可能会快得多，因为这些 AI 可以利用人类的体力劳动来制造机器人执行器，并开始闭合“制造更多自身”的循环。每次她关注机器人领域，都发现它与认知型 AI 的起飞原因相同：大模型、大量数据、模仿学习和规模。她推荐 Tom Davidson 在 Forethought 发表的文章《三种智能爆炸》。只改进架构和数据的软件，只是其中一个循环。AI 还运行在工厂生产的芯片上，运行在其他机器制造的机器上，一直可以追溯到原材料。真正的爆发点是全栈闭环，而不只是软件栈。

她说，预期的加速程度与预期的灾难之间，相关性非常强。理性的加速派往往认为，默认路径慢得令人痛苦、渐进而缓慢，因此我们应该削减一些繁文缛节，让速度稍微合理一点。担忧生存风险的人则认为，默认路径是爆炸式的：社会会在一年、五年、六个月甚至一周之内，在各个维度上被彻底颠覆，所以他们希望把速度拖慢到十年左右。与此同时，加速派认为，要获得这些好处需要 50 到 100 年，他们希望把这个时间缩短到 35 年。两派的政策主张指向相反的方向。但两派真正可能都想要的目的地，也就是需要十年或二十年才完成的变革，其实可能是同一个。

在认真思考过这个问题的理性人士中，AI 对经济增长的峰值影响，从在现有增速上增加 0.3 个百分点，到每年增长 1000% 甚至更高，各种观点都有。这意味着，在那些已经交流过、摊开过理由、却没有改变想法的人之间，分歧就有百倍到万倍。过去几年，Cotra 一直在这整个光谱上与人进行真诚的交流。她认为，两派依赖的是两种不同的外部视角。较慢的一派指出，前沿经济体已经大约 100 到 150 年保持在 2% 左右的增长率。电力、洗衣机、电视、广播、计算机和互联网，都发生在这个区间之内，在统计数字上并没有表现为增速的抬升。主流经济学家喜欢这样一个程式化事实：新技术是维持 2% 增长的引擎；没有它，增长就会放缓。按照这一观点，AI 就是下一种让我们继续稳步前行的东西。

在这种外部视角周围，还笼罩着一团民间智慧：事情总是比你想象的更难、更慢。霍夫施塔特定律说，事情总比你预期的花更长时间，即使你已经把霍夫施塔特定律考虑进去了也是如此。Wiblin 最喜欢的是程序员的一句箴言：“我们做这些事，不是因为它们容易，而是因为我们当初以为它们会很容易。”如果你为事情如何飞速发展写下一个干净的故事，那你必然没有算进瓶颈和阻力。加速派依托的是更长的经济史。把过去一万年的 GDP 数字大致估算出来，就能看到加速：增长并非一直是 2%；在公元前 3000 年，它可能只有 0.1% 左右。两派都承认工业革命确实发生过，并把增长率从远低于 1% 抬高到约 2%。加速派的模型认为，这是一个反馈回路：人口更多、点子更多、粮食更多、养活的人口更多，如此循环。如果 AI 和机器人能够替代全部的认知与体力劳动，并闭合“制造更多 AI 和机器人”的循环，那么 2% 就不是宇宙的定律。

为什么长时间争论之后依然没有趋同？她偏向较为激进的一边，也不会声称自己的看法完全平衡。但她注意到，慢派的世界观内置了一套对快派的错误解释：总有人许诺一场革命，而预言者总是错的。有人对电视或计算机也可以提出同样的论证。这种先验判断让关于机器人自我引导式地制造机器人的具体推演显得不合理，因为这类思维方式倾向于忽略摩擦。快派则有相反的错误解释：所有人都笼统地假设存在瓶颈，但一旦检视具体的瓶颈，它们或许能把 1000% 的峰值压低一些，却不足以让人认为天花板是 2%，甚至是 10%。这个分歧会影响决策。如果那些主张 1000% 增长的人变成了主张 0.3% 的人，他们很可能会改变自己的工作重点，反之亦然。

分享理论论证并没有起到说服作用。Cotra 希望尽早拿到经验证据。其中一步，是刻画 AI 是否、如何以及为何在加速软件和 AI 研发。METR 进行了一项提升效应随机对照实验（RCT），这是此类实验中首次达到这种质量。他们把软件开发者分成两组，一组允许使用 AI，一组禁止使用，然后计时他们完成任务的速度。在这项研究中，AI 让人们反而慢了下来。她并不认为这个结果会一直成立，但她很高兴有人在收集这类数据，也很高兴人们开始把自动化基准分数与真实情境中的实际提速进行相互核对。她希望每一种证据都能更多：大规模的提升效应随机对照实验、企业在自家产品推出过程中进行的内部试验，甚至是有限的自我报告。

总体思路是，去看采用 AI 最深入的地方，并用实际产出变量来衡量提速。一座真正采用了 AI 的太阳能板工厂，以及它能把制造速度或质量提升多少的记录，正是她想要的那类东西。芯片制造可能是现存最难的制造业，因此从更直接的领域可能更早得到预警，但她希望在许多类型的工厂中都进行监测。她最终关心的是整个 AI 栈：芯片设计、芯片制造、制造芯片的设备，以及软件。AI 未来学家的故事说事情会快得多的那一刻，恰好与 AI 完全自动化“制造更多 AI”的过程相吻合。无论在哪里，最早的重度用户依然重要，因为洞见是可以转移的。

2023 年底，她在 Open Philanthropy 发布了一对征集提案的通知。一份征集的是针对 AI 智能体的困难且贴近现实的基准测试，不是给聊天机器人做的选择题，而是真实任务：订机票、写软件、运行测试、反复修改直到跑通。这一方引起了学术界的很大兴趣。他们资助了一批基准测试，其中包括 Cybench，这是一套网络攻击能力测试，如今已被用于标准评估。配套的另一份征集，则要的是基准之外的证据类型，比如调查、随机对照实验，以及他们之前讨论过的那些杂乱的测量。这一方的反响要小得多。她认为这反映了一种领域习惯：大家都同意基准测试会高估真实世界的表现，却仍把它当作严肃的研究对象，因为它干净、可控。

她对第二份征集中的一个项目特别感兴趣，即 Forecasting Research Institute 的 LEAP 专家小组（Longitudinal Experts on AI Panel）。该小组向 100 至 200 名 AI 专家、经济学家和超级预测者提出细致的问题，时间跨度分别为六个月、一年和五年。有些题目是基准分数，另一些则是诸如“公司是否会报告因 AI 而放缓招聘”，或“AI 能否策划一场现实世界中的活动”这类问题。让人们作出主观预测，解释这些预测如何与更长期的世界观相连，然后随着时间推移核对谁对谁错，这可能是现有最灵活的工具。难点在于找到足够早、足以在担忧一方正确时采取行动的指标，同时又足够有效，让另一方无法以不现实为由将其驳回。

一种出错的方式是：领先的公司在内部发现 AI 让自己的速度大幅提升，于是决定不告诉任何人，也不发布产品。在《AI 2027》的情景推演中，领先足够多的公司会把最好的系统留在内部，只发布略优于竞争对手公开模型的版本。Wiblin 更希望世界其他地方，至少是政府，能有六个月或一年的提前预警。Cotra 一直在考虑透明度要求，以迫使公司公开线索。证据有一个光谱。最容易测试、信息量最少的，是基准测试结果，这类数据公司在产品发布时已经写进模型卡片里了，比如 Claude Opus 4 在黑客攻击和软件工程方面的分数，以及 GPT-5 的同类数据。她理想中的做法是，公司也按固定的日历节奏，比如每三个月一次，公布他们内部的最高基准分数，因为危险可能完全出现在内部部署之中。一个足够擅长 AI 研发的智能体，可能会让其他能力，以及随之而来的其他风险，比任何人预料的都更快到来。

还有一些目前无人公布的信息。CEO 有时会夸口说，公司内部 90% 的代码行都是 AI 写的。她希望把这类指标系统化，还希望有一个更好的指标：在提交到内部代码库的合并请求中，有多大比例主要由 AI 编写、主要由 AI 审查，而人类基本不参与这两端。看着这个数字不断攀升，既是能力提升的信号，也反映了公司对这些系统的放权程度。如果事情真要快到失控，AI 就必须承担大部分工作，包括管理、审批和审查；如果这些工作仍需人类完成，速度就会受到限制。她还希望获得真实内部使用中最令人担忧的对齐事故，比如某个模型在重要事情上撒谎，并掩盖了日志。仅靠基准测试是拉不响警报的。它们会饱和，会呈 S 形曲线，下一代更难的测试会被构建出来；即便在今天的测试套件上拿满分，也不足以让她相信模型能够接管世界。最终的现实衡量标准是观测到的生产力：比以往更快地发现洞见。这是一个滞后但清晰的信号。

相比其他监管工具，公司其实已经更能接受透明度，但信息量更大的那些数字却很棘手。算法洞见速率如果太慢，就会在竞争中显得难堪，投资人也会失去信心。安全事故就更糟了。由第三方汇总并公布匿名行业平均值，也只能起到有限的作用，因为实验室数量少到人们能够猜出来。Wiblin 提到，政府常常要求企业提供具有商业敏感性的信息：他曾在澳大利亚生产力委员会任职，该委员会很少动用、但权限极大的传唤权。Cotra 对仅向政府披露是否足够持怀疑态度。AI 安全研究是在飞机飞行途中组装的，它不是人手不足的技术办公室能够靠打勾式的走过场完成的工作。人们想要的指标本身也会不断变化，如果能就“什么情况会触发警报”形成一场稳健的外部科学讨论，情况会好得多。

如果让她设想拉响智能爆炸警报的情景，她想象的是一场全社会范围的对话，更像新冠疫情，或者像乔·拜登在一场糟糕的辩论表现之后、最终退出竞选的那几周公众争论。一个被授予权力的小团体，很难强行推动这样的局面。你需要共同认知、公众关注，并给那些目前认为这是科幻小说的技术专家一个加入的机会。如果像 Arvind Narayanan 这样以怀疑这类故事而闻名的人，亲自审视数据、改变了看法，并说“这件事正在发生，而且很危险”，那将非常有力。把数字只交给政府，仍然好过完全不公开。她不会为整个方案发起一场非此即彼的战斗，但争取价值最高的那部分在她的清单上排在前面，这也正是安全立法最终落脚的策略：纽约的 RAISE Act 和加州的 SB 53 都以透明度为核心，而吹哨人保护是两者共同的条款。旧金山科技派对上的传闻，不会像经过官方确认、无可辩驳、而且醒目的数字那样，推动华盛顿、伦敦或布鲁塞尔采取代价高昂的行动。

假设社会确实得到了预警，知道智能爆炸正在开始。一个关键变量，是这些系统在 AI 研发之外的一切事情上有多强。警报已经拉响：领先实验室的研发已经完全或几乎完全自动化，也许所有实验室都是如此，它们的速度远超人类主导的时代。过去你以为要十年、二十年或三十年才能取得的进展，现在可能只需要一年、两年或六个月。这些系统也许还没有那么危险，但世界将从那一点开始，很快走向神一般的能力。如果我们确信自己已站在起跑线上，她希望尽可能把这些 AI 劳动力，从进一步的 AI 研发，转向能保护我们免受未来各代 AI 伤害的工作，包括接管风险以及其他各类问题。这仍然不符合当前领先公司狭隘的自利，因为单方面放慢速度，会让落后者赶上来。如果能清楚地知道距离激进的超级智能还有六个月、十二个月还是十八个月，这可能就是协调各方的窗口期。

对 AI 不太担心的人有时会引用历史：破坏性技术总能被提升安全性的技术抵消，自 1900 年以来，整体而言世界变得更安全了。我们能否在冲刺时刻玩同一个把戏？许多真正担心的人则认为，这个计划是在临场摸索，等于指望制造问题的东西来解决问题。Cotra 认为，人类曾多次以这种方式使用通用技术。汽车带来了劫车和飞车射击，警察也有汽车；电脑让黑客攻击成为可能，也让自动化监控和漏洞发现成为可能。你很难想象一支不使用电脑的警察部队。这一基本原则是站得住脚的：如果你担心一项技术带来的问题，那么你首先应当想到的，是如何利用这项技术去解决它们。这个窗口期异常狭窄。汽车并没有把一个可以加速整棵技术树的按钮装在方向盘上，AI 却有。你必须时刻监测自己还剩多少时间，不能把它挥霍掉。

Wiblin 认为，如果早期系统就已经失准，那么这个计划尤其没有吸引力，因为那样你就是在请 AI 来对齐它自己。Cotra 不同意失准只会影响对齐研究。一个顽固失准的系统，如果想保留日后使用生物武器的选项，那么它在生物防御上故意做得糟糕的动机，与在对齐上做得糟糕的动机一样强；它也有动机破坏用于认识论的 AI 相关努力（一个更理性的文明可能会察觉到失准），并且总体上破坏各种防御工作。典型的“用 AI 做 AI 安全”计划，并不预设我们知道自己可以信任它们。找出一种设置方式，利用控制技术、对齐技术和可解释性，直到我们确信可以放心依赖它们的输出，这是关键的一步。因为它要么拖慢进展，事事核查、寸步难行；要么不拖慢，而那就等于“把接管权交给了 AI”。

她希望把这些劳动力投向的工作，首先是对齐：确保这一代 AI、它们协助创造的下一代，以及再下一代，始终愿意帮助人类，保持诚实，并且可以被引导。这是根基。在此之上是更广泛的社会防御。如果强大的 AI 会让关键系统（武器、电网）被新发现的网络漏洞淹没，那就用同样的 AI 赶在坏人之前找到并修补这些漏洞。在生物防御方面，她的同事 Andrew 有一个雄心勃勃的计划，要快速扩大对新型病原体的检测、医疗对策、个人防护装备和洁净室的产能；如果 AI 擅长这类研究，而机器人又能实现制造自动化，时间表就会被大幅压缩。还有一类更具推测性、但依然属于防御的工作：用 AI 让集体决策变得更明智，更擅长找到真相，并找出人们可以信任的妥协方案，其中包括降低中美爆发战争的可能性；更平凡的一点，是扭转十五年社交媒体之后政治话语的一些退化。Forethought 列出的“重大挑战”，包括价值锁定、权力攫取、太空资源分配、认识论混乱，以及 AI 之间的马尔萨斯式竞争，从今天的视角看，她会把它们都归入用 AI 进行协调、谈判和求真的范畴。如果你看看 OpenAI、Anthropic 和谷歌 DeepMind 的公开声明，就会发现这一要素已经写进了它们公开的安全计划：随着 AI 变得越来越强，它们会越来越多地被纳入安全工作之中。

这种思路要成立，就必须存在一个窗口期：它出现在 AI 失控地强大之前，此时 AI 已经强到足以改变安全研究的局面，而且即便不发生疯狂的减速，这段窗口也至少持续六个月或一年。你必须能够在接近它时察觉到。如果跨过某个通用性门槛后，几天或几周内就变成了疯狂的超级智能，那么这个计划就行不通；你很可能来不及察觉。能力的发展顺序也可能不幸地出错。设想一种 AI 在 AI 研发上堪称天才，也许只是擅长让后代在样本效率上更高，而在其他一切事情上都很差，包括邻近的安全研究。这样你就可能迎来六个月的冲刺时刻，却拥有无法用于防御的系统。在最坏的情形中，一次狭窄的搜索，几乎像 AlphaFold 在蛋白质上的做法，偶然找到一种架构或训练策略，随后就失控起飞（foom）。你只剩三个月了，而这些 AI 却不是能拿来做任何有用事情的那类。

各家公司比起其他任何事情，都更努力地让模型擅长编程和 AI 研究，因为这些问题比道德哲学更具体、更可衡量。Cotra 已经看到了一种专门化的能力剖面：AI 对于整天做机器学习研究的朋友帮助更大，远远超过它对她在古怪的思考、播客、邮件和资助决策上的帮助。幸运的是，AI 安全中有很大一部分看起来就像机器学习研究，而获得大幅提速的朋友中，就包括从事控制与对齐工作的安全研究者，这些正是你最想让 AI 帮忙的领域之一。用于认识论、道德哲学、谈判和政策设计的 AI，可能就是没那么强。还有一种规律：AI 在反馈回路紧密的工作上会强得多，这也是它擅长编程的原因之一——代码是否跑通，是一个很难造假的信号。想出点子比执行一项需要数千名人类和机器人参与的一年期计划，更容易训练。一份白皮书可以看起来很漂亮；但运营一座能生产一百亿个小部件的工厂，则是另一种能力。

既然有用的 AI 劳动力一出现就应当投入使用，那为什么还要等待爆炸？她给出两个理由。其一，在冲刺时刻，默认的轨迹可能是十二个月内就出现极其强大、无法控制的超级智能，这会让人更倾向于短期工作。其二，根据定义，这些系统届时在 AI 研发上已经很擅长，你可以试着把它们的能力导向补全那份能力剖面，例如为一个你现在还没有的生物防御模型或道德哲学模型搭建框架并进行微调。这个计划与在悬崖边暂停并不矛盾；她希望我们能暂停，因为十二个月是不够的。她希望让“暂停”不再是非此即彼的二选一。默认情况是几乎百分之百的 AI 劳动力都用于让 AI 变得更好、制造更多 AI、生产更多芯片；完全停止则是零。两者之间存在一个光谱，而这个框架也回答了暂停期间你该做什么：在这些 AI 仍在身边、可以用来做防护工作时，去做那些防护工作。在系统尚未失控之际，你甚至可以在能力上再走得稍远一些，尤其是把它们偏向生物防御。在理想世界中，清晰的早期预警会让她投票支持把一年的起飞拉长为十年、十五年或二十年——缓慢地逐步上升，而不是先暂停、再解除暂停，然后猛然跃升。

如果这是各家公司的技术对齐计划，她为什么认为它最有可能失败？按她的看法，主要原因并不是对齐被证明极其困难，虽然这也有可能。最可能的失败是，它们根本没有真正做出大幅转向。它们说这就是计划，但对于 AI 劳动力，或者人类劳动力中有多少比例用于安全、又有多少比例用于继续加速，它们没有任何量化的说法。它们会面临来自竞争对手的巨大压力，要保持领先。除非它们拥有比现在强得多的承诺，否则一家拥有十万个真正聪明的人类等效劳动力的实验室，可能只会让其中一百个投入 AI 安全工作：比以前多，但与事情的推进速度相比，并不算多。法律强制、算力上限，或者协调好的对半分配，都会碰到同样的问题：这不是一种走走过场的事情。什么才算安全研究？谁来审计团队负责人？这需要技术能力极深的监管者，而这样的监管者目前并不真正存在。任何要求大公司发生断崖式改变的做法，都会遭遇巨大阻力。她更希望它们随着 AI 变强，逐步提高内部推理算力中投向安全的份额，这样最后的跃升就不会太大。

对 Open Philanthropy 来说，近期的工作很像她希望社会所做的事：追踪 AI 对机构自身工作及其受资助者已经有多大用处。他们要推动自己和受资助者实现自动化，并留意 AI 何时在 Forethought、Redwood Research、Apollo 或各类政策机构所做的事情上变得擅长。冲刺时刻并不是等待的理由，它是一种预测：许多以前难以自动化的工作会变得容易。如果 AI 在数学研究上真的很强，技术资助或许应该转向更多数学类的押注，因为它们会变得更可行。目前八成以上的资助金用于支付人类薪资。几年后，AI 可能比大多数人类受资助者做得更好，那时资金应该大部分用来购买 API 额度或 GPU 时间。他们已经大规模支付 ChatGPT Pro 和 API 额度的费用；她希望这一比例被明确看见、得到认可，并随着能力提升而同步上升，这样，如果冲刺时刻在六年后开始，推理支出已经占据了很大的份额。

Wiblin 可以想象，一个机构在投入数十亿之前会犹豫不决，既怕太早行动、显得愚蠢，也怕在一场虚假的警报上花掉一百亿美元。Cotra 认为，这是一种非常自然的机构性失灵，而且不只是出于恐惧。Open Philanthropy 的流程是：一名初级员工整理材料，一名经理审阅，有时还要经过两三层甚至四层层层上报。你不会放心让一个随便的初级员工，去把十亿美元投向一项突然变得可以自动化的工作；可能需要一套不同的流程。有两种可能的世界。在较容易的那种里，到那时 Open Philanthropy 本身已经大部分实现了自动化：初级岗位招聘放缓，项目助理由 AI 担任，AI 团队有一千人，而不是 45 人，信念也变得直观而强烈。在令人担忧的那种里，能力则是参差不齐的：AI 在数学、某些技术安全工作，以及对个人防护装备计划有用的一些制造环节上极其出色，却不擅长 Open Philanthropy 自己的工作。机构没有那种“是时候了”的直觉，但把资金投入几个已经自动化的垂直领域，仍然是正确的做法。

对外部团体来说，真正关键却容易被忽视的问题是能否拿到权限。在《AI 2027》这类情景推演中，领先者会把最好的系统留在内部，只放出明显差一些的版本。或者它们愿意出售，但价格高昂，因为代价是失去用来训练下一代模型的机会。第二个问题更容易对冲：让投资组合的一部分敞口与算力价格挂钩。极端的做法是自己持有 GPU，在和平时期出租，在冲刺时刻再把它们调配过来，并与厂商谈好，把最新模型部署到这些芯片上。不那么极端的做法，是持有英伟达和其他与 AI 相关的上市公司股票，这样 GPU 价格飙升时，投资端也能受益。她押注，在冲刺时刻的开端，事情仍然比较商业化、相对开放：领先公司彼此只差一个月左右，各自在不同方面有起伏。这是经济学入门课和当下现实会给出的预测，不像 OpenAI 早先那样领先很多。超指数反馈是重新拉开差距的力量：与指数增长中各方比例保持不变不同，先达到某个里程碑的领先者，相对于落后者会变得越来越强。领先者之后是否会对能力保密，取决于竞争格局。近距离的竞争对手，以及要求按季度交出财报的投资人，会迫使它们对外开放。领先距离很远，加上超级智能可能与主权国家相抗衡的前景，则会把它们推向保密。她说，这是一种邪恶的策略，但它绝对是大环境的一部分。争夺 AI 劳动力的平凡竞争，就是做出人们最想付费的产品和内容。社会今天并没有把 GDP 的很大比例花在生物防御、网络防御或道德哲学上。AI 只会加速人们愿意付费的东西，而这些并不排在前列。

即使拥有庞大的算力，速度也只能到此为止。大语言模型是一个 token 接一个 token 地输出；两倍的算力并不会无限地让一个答案完成得快两倍。物理防御，比如生产个人防护装备、扩大医疗对策的规模，本身就受到日历时间的约束。社会和政策工作也是如此。AI 也许能很好地帮助找出中美之间互利、可执行的协议；但人类的决策仍然大概率需要官员召集会议、谈判、批准，并且在心理上认可这份协议。深层理论问题可以并行处理，许多实例一起头脑风暴，再互相评估，但正确的解往往需要多个相互依赖的跳跃。即便有一百个 AI 并行工作，它们在找到第一个洞见之前，也无法去寻找第二个洞见，而你可能需要经过三四步才能到达答案。

那么，哪些事情必须提前做？总体来说，要想一想那个时代的 AI 相对会处于哪些劣势。它们会比我们现在更了解局势，思考更快，行动更快。我们能贡献的，是那些本质上需要很长前置时间的事情。这包括物理基础设施，比如她的同事 Andrew 正在搭建的生物防御体系。也包括社会共识。一个观念要成为社会工具箱中可以取用的概念，需要数年时间：比如，或许美国和中国应该尝试签订一项条约，让 AI 的进展比原本的速度稍慢一些，并把大量 AI 算力用于解决问题。在这种想法流行起来之前，人们不会想到让 AI 去走那条路，并把细节补充完整。

其他组织，尤其是政府，也应当为同样的采用难题做好规划。各种零散的繁文缛节，让政府采用 AI 比任何行业中的人都更困难。我们可能会出现这样的局面：被监管方开着快车，监管者却还在赶马车。更广泛地说，如果你的公司从事防御、AI 安全、道德哲学或相关的公共利益工作，而又还没有在自身用例上尽全力采用 AI，那么设立一个团队专门留意工具何时真正变得有用，大概是值得的。Wiblin 列出的“明天就能做的事”也是同样的思路：盘点你工作中的核心环节，测试其中有多少已经可以由 AI 完成；如果你负责一个团队，就指定专人像 Cotra 希望 Open Philanthropy 做的那样，盯着采用情况；所需要长时间准备的储备物资、设施和想法，要在真正需要的几年前就开始筹备。

Wiblin 转而谈起她自上次访谈以来的职业经历。2023 年，她在 Open Philanthropy 从事 AI 的综合研究与战略工作；2024 年，她领导技术性资助工作；那一年年底，她休假四个月。她在机构工作了六年多，才第一次主导资助项目：她 2016 年加入，而她真正负责的第一笔资助，大约是在 2022 年 FTX 崩盘前后。从外部看，这家靠捐钱开展工作的基金会，她的工作显得有些奇特：话题艰深，还常常写长篇的 LessWrong 报告。她一直隐约觉得自己应该涉足资助这项核心业务，却总是被更深入的理论研究拉走。促使她转向的是那场崩盘。数百人本来已获承诺会拿到 FTX 基金会的资助，但这些资助无法发放，甚至可能被收回。Open Philanthropy 发出紧急征集，而她对技术研究有自己的判断，机构也需要临时扩充的人手。大约六周内，她完成了约 50 笔资助，而在此之前她一笔都没做过。

她喜欢其中的一些环节，但很讨厌在这种流程中能深入挖掘的空间如此有限，尤其是在紧急情况下。她希望技术性 AI 安全资助对研究方向有更多的内部视角（inside view）论证，而不只是“这个人是位很酷的研究者，并且在乎安全”。这是一种合理的启发式方法，她觉得它支配了 2015 至 2022 年间的许多决定。这一资助组合有些无人照管：之前负责的人已经离开，其中一些人去了 FTX 基金会。她尝试以一种新的方式接手：形成关于哪些技术方向真正应对接管风险的内部视角。在她自己关于时间线和威胁模型的研究中，经过数月的努力，她能够与比自己更悲观和更乐观的批评者进行长时间、有见地的来回讨论。她希望资助项目能达到这种反思性均衡，而不只是“从外部视角看，我们应该支持各种各样的东西”。总体而言，Open Philanthropy 在大多数资助上并不追求这种确信：流程太长，资金迟迟发不出去，最后你仍然不确定，只能分散押注。她对此也有所理解，但仍然认为，做足功课会改变具体的细节，包括与研究者共同打磨他们的想法，使之变得更好。

她最后形成了一种“哑铃式”的结构：续约和主动申请的项目，适用 Open Philanthropy 的标准流程与启发式规则，即与降低接管风险相一致、有良好的记录、相对快速。另一本资助账，则由她按照自己的标准来把关。这本账变成了 2023 年底到 2024 年年中的一次押注，押在 AI 智能体能力的基准测试以及其他真实影响证据上，也就是前面提到的那些征集。这是 Open Philanthropy 发布过的最狭窄、也最有深入理由支撑的技术征集：对一个优秀智能体基准应该具备的特性有明确主张，申请表格专门设计来获取她认为重要的信息，并反复强调“即便你觉得自己的任务已经够难了，它们大概率还没有那么难”。通过这次征集，他们发放了 2500 万美元的资助，而通过与之配套的关于随机对照实验和调查的征集，又发放了 200 万至 300 万美元。一位持怀疑态度的人可能会说，她本可以少费些力气，在十个领域里资助两倍的数量。

随着她的角色与管理层的变动发生冲突，倦怠感随之而来。就在她转向资助工作的前后，一直负责 AI 团队并担任她上级的 Holden Karnofsky 离开了。他们的工作关系中有大量关于实质问题的争论。留下来的领导层人手更加紧张，对 AI 相关的内容也不那么熟悉。她写过一份关于以理解为导向的安全资助的备忘录，希望通过对具体问题的论证，让机构形成共同的看法。她得到的回应更像是交易式的：你要这样做也可以，不过要带着些怀疑。她感到孤独。她本身并不是很有创业精神的人；她非常需要接入自己所在机构的中枢大脑。招人组建自己的团队也没能解决这个问题：愿景本身比较模糊，她在招聘和管理上也并不擅长，而她的完美主义（长期以来，她总是试图让作者把她的想法写出来，最后却发现自己动手更快）在资助工作中同样显现了出来。也许她独自推进基准测试征集反而更快。9 月，在全职工作八年之后，她选择离开岗位。这段休假包括日常生活、搬进新的合租房、一段短暂成功的锻炼习惯、没有发表的写作、帮助筹办第一届面向 AI 怀疑论者与安全研究者的 CURVE 大会，还有大量的反思。她明白了，如果没有一条能够影响中枢的路径，她还是会忍不住插手，而做不到时又会感到难过。

在休假期间，她还思考过，作为一个生态系统和一种心态，她究竟喜欢有效利他主义的哪些地方。她提醒听众，EA 的核心理念是：你应当明确、认真、量化地思考，如何通过职业或捐赠做出最大的善举，因为不同路径之间的效果可能相差几个数量级，比如从事绿色技术研究，与随手关灯，差别就是如此。这种精神是：认真对待帮助他人，意味着你要做的研究，应该是你在配偶患癌时会去做的那种，而不是去做直觉上感觉良好的事情。她十三岁时就一头扎进了这个兔子洞，至今已经超过她人生的一半时间。有三件事给她留下了深刻的印象。第一，EA 的人会挑战自己，去关心在时间和空间上与自己相距甚远的存在：甚至包括最“平常”的全球贫困问题，因为大多数富裕国家的捐款仍流向其他富裕国家的人；动物；数千年或数百万年后的未来世代；以及如果能够有意识的话，AI。第二，他们在判断哪些慈善项目更有效时，既有书呆子式的严谨，又有方法上的创造性，并且有公开辩论、承认错误的文化。GiveWell 在其网站上专门设了一个记录错误的页面。第三，是一种高度正直的品格，而这种品格并不明显地来自“更在乎”：GiveWell 拒绝配捐，因为配捐通常是一种骗局，大额捐赠者本来就会捐。

道德圈依然在那里。智识上的深度也仍然存在于生态系统的其他部分，尤其是控制早期变革性系统的技术问题，尽管她在一家资助机构工作，这些问题始终牵动着她的心。Wiblin 开玩笑说，她其实更像一个天然的资助接受者。如果她是 2022 年而不是 2016 年毕业，她大概会去参加 MATS，加入一个 AI 安全团队，而不是去 GiveWell。Karnofsky 离开之后，领导层对这种深度的需求也减少了不少；如果让她重新开始，她大概不会申请 Open Philanthropy。第三根支柱，也就是那种近乎滑稽的高度正直，也在被侵蚀。当 EA 的主要方法是说服聪明人改变捐赠方式时，异乎寻常的诚实是一项宝贵的资产：GiveWell 早期的捐赠者之所以喜欢那个错误页面，正是因为它意味着他们没有被人推销东西。一旦你开始吸引资金和人才，并试图在世界上实现某些目标，包括在政治上，极端的透明度就变得很难维持。捐赠者想要隐私，竞选团队不希望对手知道自己的策略。世界上最有影响力的组织，并不能始终保持极高的透明度。

EA 告诉她，她应该只关心目标，即尽可能帮助他人，而不去迎合某种审美。她觉得自己当时是在自欺欺人：究竟有多少动机来自第一根支柱，即利他主义，又有多少来自第二和第三根支柱，即智识深度与完全无须隐瞒。后两者在她职业生涯中追求 EA 目标时，变成了较为次要的因素。随着 AI 发展成一个大产业，Open Philanthropy 周围的环境也变得更加敌意：有商业利益，有竞争性的意识形态，还有人会专门坐下来琢磨，怎样让这个机构过上糟糕的一天。甚至在 2023 年 AI 政策热潮之前，Open Philanthropy 就已经放弃了早期那种激进的透明度雄心，比如公开那些它决定*不*资助的项目，或者发布关于其首批项目官员招聘优缺点的博客文章。她内心仍然向往这种做法，而这在她看来简直是一种疯狂的理想。对抗性的压力，会让一个大型生态系统的资助方比其许多受资助者都更厌恶风险。她的本能是多说一些、进行反击；但站在 Open Philanthropy 的位置上，这要难得多。

长期以来，批评者都说 EA 与宗教运动有相似之处。她认为，这个类比在一个重要方面站不住脚：EA 立志做到比世界上的宗教更加追求真相，而且在很大程度上也确实做到了。对其他一些人而言，这个类比并不算坏。对于深度参与其中的人来说，EA 提供了一幅关于美好生活的地图，一种关于何为善良的愿景，并且与政治相交织，比如对母猪限位栏的反对就是一例，同时也像教会那样，为当地社群提供归属感。Wiblin 对职业组织那一面的体会更深；他认为，把 EA 收缩成三个议题（工厂化养殖、全球贫困和 AI 安全）是一种错误。EA 是一种看待世界的方式，你也可以用 EA 的方法去思考更为地方性的问题，包括美国政策。就她个人的感受而言，EA 不够像一种宗教。她受益于结构化的安排和情感上的支持，而她所在社群圈子里的理想，是拥有一份有影响力的工作、把它做好，并且投入大量的工作时间。她本希望有一个更具灵性的角度，比如她的同事 Joe Carlsmith 博客里那种存在主义式的关怀，思考一个在十年或二十年内可能走向乌托邦，也可能走向反乌托邦的世界。如果每个星期天都有一座 EA 教堂，有人深思熟虑地发言、主持讨论，那会丰富她的生活，也可能让她的影响力更大。但职业社群刻意不以这种方式组织：如果你在做很出色的安全研究，他们并不想关心你是否相信最深层的教义。二十岁时，她看不起灵性的东西，也对一个不切实际的希望抱有幻想：所有善良的人都会加入进来，解决贫困和工厂化养殖问题。投身工作之后，她明白了一切都是困难而缓慢的，而谷歌文档不会自动与更高的追求相连。随着年龄增长，她对一种能让自己重新看到更大图景的独立事物的需求越来越强，这与 Wiblin 的情况恰好相反，后者想要退出，回归家庭。

休假快结束时，她原本计划开一个 Substack，写关于 EA 和 AI 的文章，不必有超强的影响力论证。也许经过这段旅程，她在做职业决定时能有更多空间，基于影响力之外的理由作出选择。她留了下来，因为 Open Philanthropy 正在寻找一位新的主管，来领导全球灾难性风险方面的工作，这个职位是 Karnofsky 在 2023 年离开后留下的。两位最终候选人在她看来都很优秀，她觉得新来的人可以得到一个并不负责某个项目领域、却能帮助他们理解背景和战略的人的帮助。这也是一次机会，她可以看看自己是否能找回那种接入中枢的感觉，而那正是她一直缺少的。全球灾难性风险（GCR）的负责人是 Emily Oehlsen，她同时也是 Open Philanthropy 的总裁。Cotra 在 2025 年的大部分时间里，都在帮助 Oehlsen 理解已经资助过哪些项目、AI 的世界观，以及各个子团队的战略。她与 Oehlsen 合作得非常好。Karnofsky 以前是研究型的项目负责人：对她的项目感兴趣，有充足的精力，而不是说“我在做一件更大的事，请帮我做其中一部分”。Oehlsen 管理的则是一个整合得更紧密的团队。Cotra 现在的工作量比休假前更大，但感觉没那么吃力了。

她仍在与 Open Philanthropy 接洽，那里依然是她的首选之一，同时也在与两家技术机构接触：一家是 Redwood Research，以开创 AI 控制研究议程而闻名；另一家是 METR，她认为这家机构在努力成为智能爆炸的全球早期预警系统。这两个使命都很贴近她的内心，而且比 Open Philanthropy 的范围更窄，这可能让她能够更深入地钻研，也可能更令人满足。有一句陈词滥调是二十岁时的她会翻白眼的：你身边极其具体的环境、你直接汇报的那个人，以及你整天是与人交流还是独自工作，都可能带来翻天覆地的差别。当工作环境在局部上很艰难时，EA 逐渐减少的透明度和功利主义基础中那些不牢靠的部分，就更让她困扰。她过去一直低估了平凡和细微之处的重要性。录制节目时，她正在 METR 进行试工，同时留意节奏和身边的人让她感受如何。即便不离开，领导层的变动也应该成为重新思考自身角色的契机。她很庆幸自己选择了四个月的休假，而不是直接辞职，庆幸她回来帮助 Oehlsen，也庆幸她现在是在认真地找工作，而不是在漫无目的地调整自己。

80,000 Hours 是否应该更多谈论有效利他主义？或者，既然节目现在更聚焦 AI，几乎不再谈 EA，这样是不是更对？Cotra 认为，这样做是对的：你不需要整套 EA 理论，也能担心失准的接管、误用或社会扰动；而且应当有一个繁荣的生态，它以“AI 将会是件大事”为前提，但并不以 EA 为前提。她还认为，EA 的思维仍然有很多可以贡献的地方。认真思考 AI 自身是否可能是道德主体、并权衡其权利与安全之间关系的，大多会是 EA 圈子里的人。认真对待“扰动大到我们会把一套价值观锁定数百万年甚至数十亿年”这种可能性的，大多也会是 EA 圈子里的人。即便是那些接受 AI 会在十年或二十年内颠覆一切的人，其中最努力思考最剧烈扰动的，也会不成比例地是 EA 的人，因为这种文化无论如何都要求你进行深远、严谨的推测。数字感知就是一个典型例子：它不算特别赚钱，尚未得到尊重，也不容易取得进展，而且不是你父母会引以为荣的职业。在她的设想中，一个健康的 EA 社群，是一台孵化器：当一个议题还处于推测阶段、方法上尚不成熟时，就把它孵化出来，然后培育它直至能够独立站稳，就像它当年孵化出对 AI 接管风险的担忧一样。太空治理和价值锁定，也是同样需要这样对待的候选议题。某些形式的价值锁定会经过公然可怕的权力攫取；另一些则更像是加强版的社交媒体，由超级智能进行精心筛选，让每个人都停留在自己的泡泡里，永远不改变想法，而权力依然是分散的。

Wiblin 注意到，她所指出的那个独特生态位，首先并不是利他主义。它是一种研究本能：愿意待在一个令人不适的空间里，既不能凭空编造，又要等待确切的测量，努力做出有依据的推测，而不是讲一个好故事，或者干脆拒绝做预测。即便是相对温和的 GiveWell 成本效益分析，也必须借助调查和杂乱的研究，去比较把一个极低收入翻倍与承受死亡风险之间的价值，然后把判断明确写出来。Redwood Research 也有同样的习惯。在 EA 内部，人人都觉得比自己更具推测性的人是在沙上建城堡，而比自己更保守的人则是只盯着路灯下面的东西。对于拥有这种少见心态的人来说，其含义是：去接手那些别人不愿意承担的工作。甚至有一种观点认为，作为世界应对疯狂 AI 变化的一部分，EA 应该再次大力倾斜于研究。这个社群曾经有过大量想当研究者的人，之后又有一股推动（包括来自 80,000 Hours 的推动）让人们转向运营和政策。那在当时是一步好棋。但如果 EA 的比较优势在于，在推测性领域里做那个古怪、敢说真话的人，那么现在那些在运营和政策岗位上、内心其实想回去做研究的人，应当考虑重新回去。