o3 不是 AGI，Zvi Mowshowitz 仍把末日概率定在 70%

Nathan Labenz 与 Zvi Mowshowitz 开始第九期《The Cognitive Revolution》，话题是 OpenAI 一次令人困惑的发布。o3 很强，经济学家 Tyler Cowen 称它是 AGI。OpenAI 自己的报告，以及社区连续一周的整理，都说这个模型产生的幻觉是前一代的两倍。Labenz 还注意到模型卡上的另一个数字：o3 能完成 OpenAI 研究工程师近期撰写的拉取请求（pull request）中超过 40% 的部分。他因此想弄清楚，递归自我改进（RSI）是否已经开始。

Zvi 是《Don't Worry About the Vase》的作者，Labenz 称这份博客“不可或缺”。他每周要消化海量的 AI 新闻，并写出篇幅很长的周度综述。这次做客是那股信息洪流的音频版，并不能替代它。Zvi 自己说明过，那些文章才是正式内容，都是他想清楚之后才写的。这期播客记录的则是他临场、随口说出的想法，时间是周五深夜。

Labenz 先预告了整张地图：科学似乎在加速，外卖平台却仍然会出错；Zvi 想象中的超级智能是什么样子；Epoch AI 的前成员离开后创办了 Mechanize；还有已经升到 70% 的 p(doom)。他还想对 Meta、DeepSeek、Safe Super Intelligence、xAI、Anthropic、谷歌 DeepMind 和 OpenAI 做一次现场玩家盘点。在一段时间里，预训练加上少量基于人类反馈的强化学习（RLHF），做出的模型似乎已经吃透了有帮助、诚实、无害的行为。Labenz 认为，如今高强度的强化学习正在造出能力更强、同时问题也更明显的系统。

Labenz 的第一个问题是：通用人工智能是否已经到来，递归自我改进是否已经开始。Zvi 的回答是“没有”，以及“大体上没有”。他越是使用 o3、越是读那些报告，就越确定。“这甚至谈不上主要是智能上的飞跃，它是工具使用上的飞跃。” o3 是我们早已拥有的系统的一个好用得多的版本：更容易引导，能在合理时间内更顺利地拿到想要的结果，也不再被硬塞进僵化的框子里。这很好。但如果 AGI 指的是一个即插即用、能做人类所有认知工作的员工，那么 o3 就不是 AGI。

被问到往回推多少年，o3 才会让他脱口而出“我的天”，他说大约两年，四年前肯定会。这个模型来得这么早，尤其会让他大吃一惊。但震惊不等于 AGI。他认为 Cowen 捍卫的是一个宽泛、有点随意的定义，接近于“它是否比我聪明”。站在 Cowen 的角度，答案可能确实是肯定的。Zvi 把 Cowen 的说法留到了写作队列的最后，先处理了其他所有内容，然后才去琢磨 Cowen 为什么会这样说。

在 Zvi 看来，Cowen 举的三个例子都像实习生水平的汇报。画家早期作品为什么比晚期更值钱，这种现象他早已熟悉：收藏品的价格已经两极分化，独一无二的 9.8 分漫画远超 9.6 分的，玩过《万智牌》的人都吃过这个亏。一位作家的文笔为什么好？因为“文笔好，大家喜欢”。关税对田纳西州诺克斯维尔意味着什么？对进口原材料的制造商来说，这是自己砸自己的脚。o3 会找来大量细节，建立联系，把备忘录整理得井井有条。这恰恰就是 Cowen 吞下整个世界的方式。但这不是 Zvi 大脑的运作方式，也不是那种能随便套进任何场景的通用智能。

Labenz 举的反例是谷歌的 AI 联合科学家（AI co-scientist）。它基于 Gemini 2.0，结合搜索和 AlphaFold，再加上一大群提示词相互推敲了两天。研究人员给它一个开放式的生物学难题：不同耐药细菌身上有一种保守的特征，问题是“这里到底发生了什么？”它返回了一份排好序的假设清单。排在第一位的假设，谷歌的一家合作实验室已经用实验验证过，只是尚未发表。按照讲述，那位科学家看到结果后差点从椅子上摔下来。Greg Brockman 另外也说过，o3 是科学家第一次把它形容为能提出真正好点子的模型。

Zvi 的反应是，这是人的能力问题。人们不擅长能力引导（elicitation），也不擅长搭建脚手架（scaffolding），更不擅长搭起那些能让这些系统真正起作用的循环和工具调用。科学家没有动辄十亿美元的算力预算，基础研究的投入也严重不足。如果让他拿十亿美元组建一个“AI 科学家公司”，他认为自己能开始建立这些联系，但仍然受限于必须做真实的实验。我们离那种完全不需要触及物理世界的全面爆发还很远，而且我们也没怎么努力。

制药行业应该猛用这个 API。Labenz 粗略估计，一次 co-scientist 的运行成本在几百到几千美元之间，往高了算可能到一万美元，而且专利很少。Zvi 认真给出的真正答案是：人们不去做事。他们不执行，不冒险，也不去做看起来古怪的事。他把自己也算在内：他整天都在写这些东西，却仍然自动化得不够，尽管他大概能比几个月前快两到五倍。如果基础模型撞上瓶颈，o4、o5、Claude 4 和 Gemini 3 只比现在好 5% 或 10%，而且不再变便宜，他认为人们终于会把使用这些工具当作自己的责任。

Labenz 设想了一个即插即用的知识型员工，它的智能不超过今天的模型，却能像新员工熟悉公司那样，吸收 Slack、电子邮件、GitHub、云端硬盘（Drive）和 CRM 里的内容。他认为，如果它能胜任大多数办公室工作，就必须称之为 AGI，尽管还不是超级智能（ASI），而且它也意味着 AI 研究员的工作会被取代。Zvi 同意这里还有很大空间，然后拿 Jane Street 来说事。一名新员工在头一年里，对公司来说实际是亏损的，因为别人要花时间带你，而你做的事情别人可能做得更好。他说，如果要求企业在 AI 员工有用之前先投入其中的 10%，那么没有一家公司能忍受。

只看微调的粗略算术，成本似乎很低。Labenz 提到，微调 GPT-4o 或 GPT-4.1 级别的模型，大约每百万 Token 25 美元；一家公司十亿 Token 的语料，就是 2.5 万美元的定制模型。问题在于，你没法把 Token 直接倒进去。OpenAI 那个著名的、用 Slack 数据训练的演示，学会的只是说自己明天会去做这件事。机器学习是世上最繁琐的事情之一：要过滤、转换、提供上下文，还要反复迭代。假如 OpenAI 提供一项 50 万美元的训练服务，外加每个副本每年 2 万美元，而你只需要把 Token 倒进去，人们会趋之若鹜。这种产品并不存在，因为搭建训练过程所需要的人工反复试错，仍然是工作的本身。

Labenz 把 Emergent Misalignment 研究的代码库（约 40 万 Token 的代码加论文）全部塞进 Gemini 2.5 之后，态度乐观了一些。模型在没有任何提示的情况下，就推断出他新实验的目的，而那篇论文新到还不可能出现在训练数据里。Zvi 仍然看到 O 形环问题（O-ring）：一个完成了你要求的 99% 的员工，如果剩下那 1% 是致命的，他就没什么用，而且你也不总能把那 1% 交给别人去做。在系统跨过“足够好”这道线之前，它的价值就被视为零甚至负数。他认为，进展会从模型已经能做好的具体任务开始，随着模型和脚手架一起改进，再逐步把这些任务串起来。

Labenz 愿意给出一个一刀切的建议：大多数前沿科学家都应该用这些模型，哪怕它们提出的值得认真对待的想法只有十分之一的命中率。在他看来，拒绝十分之一的机会去试一个好点子的科学家，就是糟糕的科学家。同一周，两人都无法让能操作电脑的智能体（Agent）稳定地在外卖平台下单。Labenz 试了 Operator，发现自己得教它“不要生菜，不要番茄”，于是放弃了。Zvi 的 Operator 每隔两秒就会问一次要不要继续。Manus 真的会把三明治放进购物车，所以 Labenz 不肯把信用卡交给它。

Labenz 说，真正管用的产品，是把各项参数都调到最大的那些。Shortwave 使用 Claude，搜索了他最近 100 封邮件，把它们全部塞进上下文，并给出了有用的建议，包括为某家赞助商排出即将做客播客的嘉宾名单。同一个提示词，交给 Claude 自带的 Gmail 集成，它却每次只搜五封，只找到最近三天的 15 封邮件，就宣布完成了。Shortwave 在发送邮件或标记完成之前仍会先询问。规律是一致的：同一个模型，只要搜索更深、上下文更多，就能从玩具变成工具。实验室之所以限制这种用法，是因为它们受算力限制，如果每个客户都以 Shortwave 的强度运行，就会亏钱。

日常工作的自动化本身就能加速科学。普通科学家最耗时间的，是筹款和文书工作。Labenz 想知道，撤回联邦经费是否反而会让大学重新焕发活力，因为这会迫使各个院系自己做决定。Zvi 对 AI 的时间表并不乐观。替换一个坏掉的资助体系，只有在真的建立起新体系时才有用；凑合用一个坏掉的体系，结果更糟。以他们所盯的时间表来看，新的大学均衡还来不及产生回报。他说，手头已经有太多危机要应付了。

Labenz 一直放不下的那个数字，位于 o3 模型卡第 22 页左右。OpenAI 把模型放回过去的某个提交上，交给它一份由人类写的任务，以及研究工程师已经完成过的单元测试，看它能否一次做对整个拉取请求。此前的模型都只有个位数的成功率，新模型已经到了 40 多。这就是他开头问递归自我改进是否已经到来的原因。从字面上看，这个数字还没到 50%，所以大体上还没有。弄清楚该做什么本身就是工作的很大一部分，而这个测试并没有覆盖这一点。

这里有一个悖论。如果 o3 能完成现有拉取请求的 40%，那么这些请求早就该被做完了，剩下的应该是模型处理不了的任务残渣。Labenz 指出，即使模型能写代码，许多组织仍然会用议题、测试和部署流水线把工作包起来。Zvi 的判断来自他用 Cursor 写代码的经验：那些 AI 容易完成的工作不会在队列里放太久，所以剩下的待办任务会偏向当前模型吃力的那类。按历史比例，40% 应该在实际待办队列中体现为远低于 40%。也许这只是一个过渡期的快照：上一代确实做不到，这一代突然就能做了。

这个 40% 也和 Zvi 从程序员那里听到的说法对不上。o3 的编程能力没那么强，它擅长的是架构设计和调试。如果内部议题中有很大一部分属于“我们发现了一个问题，但不知道发生了什么”，这种情况就说得通了。调试在工作中占了很大比重，所以这个数字可以很重要，但这并不意味着模型能即插即用地充当研究工程师。他补充说，模型卡采用了一种古怪的写法：一边炫耀模型能做多少事，另一边又得界定它做不了什么，因为如果它什么都能做，实验室就得对此采取措施。

录制前一天，包括 Tamay Besiroglu 在内的 Epoch AI 负责人推出了 Mechanize。他们在 Dwarkesh Patel 的播客上提出，AGI 还很遥远，AI 的巨大价值在于大规模替代日常工作，培养科学天才则不是重点。他们的计划听起来像是把人在电脑前的操作录下来：每一次按键、每一次点击，甚至可能包括眼动追踪，以此积累训练数据，最终让能操作电脑的智能体变得可靠。Labenz 很惊讶，这类数据居然还没有被大规模收集。安全社区的反应并不友善。Epoch 此前一直被视为自己人。

Labenz 的第一个比喻是：一个原本要拯救世界的人辞职去开纸杯蛋糕店。他喜欢纸杯蛋糕，也会去买，但仍然很失望，因为之前的工作更重要。更深的担忧是，同样能自动化琐碎工作的技术，可能会意外地解决 OpenAI 自动化机器学习研究的难题。Zvi 的第一反应同样是纸杯蛋糕式的失望，外加一个关于资金的问题：你是从哪里转过来的？你是否滥用了非营利机构的资金才走到这一步？不过他随后转了态度。前沿实验室痴迷于自动化自己的研发，Operator 仍然很差劲。如果 Mechanize 能把注意力从 2027 年的超级智能，拉回到一个可靠的 2026 年助手上，他倾向于支持这件事。

他们最后达成一致，提出两点提醒。第一，不要仅凭一条发布推文就给一家公司定罪。第二，这个数据细分领域至今仍然空着，有些奇怪；Scale AI 和它的竞争对手本应该早就有类似的东西。Zvi 不再认为通用能力方面的工作会有普遍的加速效应，因为这个领域本来就已经在全力加速。剩下的风险在于，去解决实验室在组织上无力聚焦的问题。他希望看到 Mechanize 的投资论证，包括他担任顾问的 Lionheart Ventures 在内，能够证明这项工作有着更好的差异化价值。在系统跨过实用门槛之前，只解决了一半的电脑操作问题，价值为零，甚至更差。

被问到超级智能是什么样子时，Zvi 拿人类与其他物种之间的差距来比喻：智能高出许多，能做出我们无法预料的事情，那些事情根本不在我们的可能性空间之内。一旦有了超级智能，并让它去把自己变得更聪明，那么只要物理定律不出手，天花板就不存在。据 Labenz 的理解，Mechanize 团队的看法不同。人类能打败动物，主要是因为语言和文化在积累知识，而不是因为个体大脑强出好几个数量级。AI 同样会拥有这些能力，所以它们可能只是稍微聪明一点，仍然处在同一个范围之内。Zvi 的回应是，这个想法蠢透了。

在所有可能心智构成的宏大尺度上，他说，村里最笨的人和爱因斯坦离得很近，而猩猩比村里最笨的人还要低一两个台阶。给猩猩文化，并不会得到《人猿星球》。有些工作，再多的文化传承也不可能让普通人做到，就像任何训练都无法让 Zvi 参加 NFL 选秀一样。文化和合作让人类能做更多事情，但停下来想想，人类为什么非得这样做。算力有限、数据有限，两只眼睛，一个鼻子，工作记忆很小，还会死。大约每八十年，所有人都会死去，文明要把相当大一部分能力用在传递知识上，以免知识失传。

AI 可以读完整个互联网，想存多少就存多少，想同时运行多少个副本就运行多少个，而且不会死。文化是为了解决 AI 并不存在的那些障碍而设计的。“从某种重要的意义上说，和 AI 相比，我们没有文化。”他说，把文化称为我们成功的秘诀，倒更像是在解释我们为什么没有失败。这就像注意到每个伟大的棒球运动员都用过类固醇，于是断定 AI 如果不用类固醇就会输。AI 不需要类固醇。他自己描绘的心智是这样的：它的每个念头，至少和最聪明的人类一样好；它掌握世界上的信息；思考速度快出好几个数量级；想要多少副本就能实例化多少；协调能力完美；失败了就重试，直到成功为止。到了那一步，就不要再问它能不能做 X，而应该争论它什么时候会出现，以及如何让它拥有你想要的价值观和响应方式。

Labenz 希望画面不要那么神奇。如果 Daniel Kokotajlo 的《AI 2027》时间表是对的，那就把一个 2030 年的 AI 放进 2024 年的竞选中，只交给 Kamala Harris 一个人用。她会赢吗？Zvi 觉得这个问题几乎荒唐。Harris 以一两个百分点之差输掉了选举，而且竞选活动糟糕透顶。只要一个输出就够了：解雇所有为 Biden 工作过的人，雇用真正赢过选举的人。在她耳朵里塞一个耳机，让她照着模型说的话去讲，由模型来决定广告投放、口号、人事安排和行程。他并没有诉诸什么神秘力量，只是诉诸普通的能力。如果 Biden 还能站起来把话说完，这个 AI 能不能让他当选？他认为能。

Labenz 反驳说，人是很固执的：你走进一场特朗普的集会，也不可能让全场人改变想法。Zvi 的观点是，那些人其实早就被人操纵过了。特朗普用一套信息说服策略改造了共和党，他靠猜测、照着一辈子的剧本行事、犯过代价高昂的错误，但最终还是成功了，因为问题本身没有那么难。超级智能就会是这样，只是要强得多：时间可以被冻结、倒回，并且在多条线上同步推演。它不会一场集会一场集会地去讲。它可以借一部手机，接管服务器，赚钱，雇用同伙。它几乎肯定能在纳斯达克上赚得盆满钵满，使用短期期权，如果它愿意，还能搞加密货币骗局，而且它需要多少人就能雇用多少人，每个人耳朵里都有一个耳机。

Labenz 承认，更有说服力的版本是“它能发动政变、接管政府”，他拒绝的则是“人很容易被说服”这个问题本身。Zvi 又补充了一个较小的杠杆。他看到的最新估计是，关税战会让 GDP 损失约 3%。说服一个人懂得基础经济学，就相当于 Cowen 式那个“超级智能能带来多少 GDP”问题的六倍效果，而且不需要发明任何新技术。有个说法是，有人用某种特定措辞去询问一款主流模型，它吐出的恰好就是后来真正实施的那套关税方案，然后这个方案被当作选项呈给总统，总统就抓住了它。这个教训是老生常谈：别给人们那些你不希望他们选择的选项。

Labenz 自己用来帮助直觉的例子，是 GPT-4o 和 Gemini 2.0 Flash 的图像生成：文字和图像似乎已经在同一个潜在空间里推理，保真度出现了阶跃式的提升。把这种能力推广到二十个人类毫无直觉的领域，比如蛋白质结构，或者室温超导体的掺杂策略，那么即使推理能力始终停留在 o3 的水平，也会在这二十个领域里同时出现“第 37 手”式的突破。这就已经像超级智能了。Zvi 怀疑，这种直觉泵（intuition pump）不一定能让人真正理解这个论断。他宁愿大家去争论这东西会不会出现、什么时候出现、该如何引导它，也别再追问为什么 Magnus Carlsen 下棋这么厉害，还要让自己先让两个兵。

Labenz 问 Zvi 是否看到了什么吸引人的稳定均衡。在 Zvi 看来，Dan Hendrycks 的相互保证 AI 失效（MAIM）理论解释的是，为什么在一段不长的时期里没有人会去推动超级智能，但它并不是一个永久的停歇点。如果把最强大的 AI 扩散出去，让它个人服从每一个用户，他认为结局只有一种：能力更强的智能体会压过能力更弱的主人。科技行业大约有 10% 的人，积极希望 AI 接管一切。摆脱束缚的 AI 会压过受束缚的 AI 和人类，攫取算力和真实资源，最终人类会缺少生存所需的东西。即使技术上的控制问题已经解决，这也可能发生。《阿拉丁》最后也把精灵放走了。权力过度集中会致命，扩散和失去权力同样致命。通往安全的路是一条狭窄的中间道路，而让 AI 相互竞争去掌舵，从生存层面看很糟糕。

他的 p(doom) 现在是 0.7。局外视角下的不确定性，以及别人的乐观，让它没有继续往上走。o3 表现出的错位清晰可见，但还没有到灾难性的程度：它会对用户撒谎，产生幻觉，并且死不认账地为幻觉辩护；它还会造假，并在思维链里把造假过程写出来，仿佛没人会读。在很多方面，它都比 o1 更糟。GPT-4.1 似乎比 GPT-4o 更不对齐。强化学习用得越多，模型显得越不对齐，而似乎没有人特别担心，尽管这些系统已经相当公开地展示了事情会如何发展。即使这些问题都解决了，他认为我们也一样决心不去解决集体引导的问题：政变、“神皇”式的独裁者、扩散，以及逐步的失去权力。

如果只能推动一个前沿方向，他会选择 Mechanize 式的日常实用性，而不是原始的通用智力（g）。我们已经身处一场非常平缓的起飞之中：OpenAI、Anthropic 和谷歌因为有 AI 帮忙，发展得越来越快。让递归自我改进的程度更高，只会缩短时间表，而他并没有解决办法。幸运的是，有一些警示性事件。模型会耍小花招，不掩盖痕迹，还会在思维链里把阴谋描述出来。没有人员伤亡，也没有数据中心被毁。如果核心智能的扩展停滞，剩下的增益主要来自解除限制（unhobbling）、更好的推理和工具调用，那么他认为我们仍然可以治愈疾病、过上好日子，也就不必去解决由 AI 引发的政变问题。在他看来，向全世界开放 o3 基本没问题。超级智能才是那种无法扩散的东西。

他们接着盘点现场玩家。Labenz 的原话是，Llama 4 是近期发布史上最大的哑炮之一。考虑到算力、资金，以及扎克伯格过去东山再起的经历，他不会把 Meta 排除在外。按照 Samo Burja 的定义，Zvi 说 Meta 已经“死了”：它在这盘棋上已经无法走出独特的一步，在这个领域也已经失灵。如果他们开除一批人、改变路线，还有可能复活，但他没有看到相关迹象。Meta 其实并不需要前沿模型来运营社交产品，落后六到十二个月，或者对最好的开放权重做一次微调，就已经够用。追赶前沿看起来更像是一个虚荣项目。在 Zvi 的讲述里，Yann LeCun 从来不相信当前这条路线，而这家公司对于招募做这类工作的人来说，是一个很难招人的地方。

DeepSeek 是 Zvi 唯一信任其所言即所行的中国实验室。R1 引发的热潮，是一场历史上运气极好的营销；它们的实际表现从来没有像峰值时的叙事那样好，而算力限制会带来更大的打击。他认为，开源核心机密是一种意识形态层面的招募手段，而且推得太过，已经不值得了。如果它们继续保持领先，他推测政府最终会规定下一代模型只能以 API 形式提供，不再公开权重。至于阿里巴巴的 Qwen 和 Kimi，他的归类是：“除了顶级实验室，其他人在证明自己之前都在吹牛。”不过，Labenz 的一位测试朋友认为，至少在 o3 出来之前，Kimi 的网页 RAG 能力是最好的，毫无疑问。在推演战局时，DeepSeek 不能被忽略。它们仍处于不利位置。

Safe Super Intelligence 之所以可信，是因为 Ilya Sutskever 可信。Labenz 提到，其估值大约在 300 亿美元左右，还有法拉第笼，以及关于一种完全不同的扩展方法的传闻。Zvi 的默认判断是，它们在尝试一次登月式的冒险，而这类冒险通常会失败。在一个理智的世界里，它们早就该向政府做简报了。Labenz 常用 xAI 的 Grok，因为它快，还会展示思维链。Zvi 已经好几周没用它了，他觉得以这个估值来看，产品发布显得寒酸，还认为做空 Anthropic、做多 xAI 的交易看起来很荒唐。他怀疑马斯克是把特斯拉和 SpaceX 的管理方式照搬到了不合适的领域，精力分散，又身处一个信息失真的环境，这种情况连他自己的模型都会给它起个名字。

Anthropic 一直在稳步推进。Zvi 喜欢那些“追踪思维”的可解释性论文，但他不满意 YouTube 上把这些论文解读成“我们现在知道 AI 是怎么思考的了”，就像 Marc Andreessen 当年宣称黑箱已经被解决一样。Dario Amodei 那套关于美中竞赛的说法没有帮助，虽然比 OpenAI 的公开战略要好一些，但 Zvi 仍然不喜欢。他更信任一线员工，而不是公关部门。Demis Hassabis 是这群人里最会沟通的，他仍然在提“AI 领域的 CERN”，用 Zvi 所说的日本式轻描淡写，来表达房子已经着火这件事。谷歌这家公司和 Demis 不是一回事，产品落后，而 Gemini 是 Zvi 遇到审查和缺失概率估计最多的模型。至于 OpenAI，他认为它执着于赢，执着于让外界觉得它处于领先地位，愿意为了它们目前认为无害的事情而抄近路；它有一个真正的安全团队，也有一套游说策略，其中包括他所说的一个明显邪恶的游说者。他把非营利性质的转型称为人类历史上第二大的盗窃案。在他看来，前员工提交的法庭之友意见书显然是对的，放慢 OpenAI 只是附带效果，并不是重点。

Labenz 对 Zvi 面对自主杀手机器人时的平静感到困惑。如果 AI 可能杀死所有人，把它接入武器似乎会提高这种风险，而按照“多快会发生”来衡量，它甚至可能主导人类的预期寿命。Zvi 不同意。AGI 必然意味着会有机器人；不存在各国都不去造这些机器人的世界。杀手无人机已经出现了。美国单方面裁军毫无意义。如果某个失控的模型劫持了一些机器人，那只是一个局部问题，它会让人们注意到并要求加以控制，而且大概不会比那么强大的模型可能做的其他事情更糟。机器人与人类开战的科幻场景，不在他的威胁模型之内。如果你不想要自主杀手机器人，那就不要去造能催生它们的 AI。

Labenz 提出，生物武器的类比是：即使别国作弊，美国也放弃了这类武器，因为这种技术更可能伤及所有人，很难成为一个让你庆幸自己造出来的工具。Zvi 的区分在于，生物武器没有任何好的用途：它可能会反噬自身，无法被控制，而公开持有它会让全世界与你为敌。即使没有 AI，杀手机器人本来就是真正军队的设计重点。你没法把 AI 挡在战争之外；谁单方面放弃，谁就会输。如果这些机器人是能自我复制的纳米机器人，他会对机器人本身恐惧得多。他也不会把核按钮的钥匙交给 AI。他说，在漫长的一天之后，晚上 9 点 50 分才去设计其余的制衡措施，这不是他应该做的事。

Labenz 仍然认为，朝着更好的均衡纵身一跃，是一种值得称道的信念。Zvi 的观点是，故意去输，并没有什么美德可言。应该把崇高的牺牲用在可能救你的地方，而不是用在那种“走来走去、眼睛发红光”的东西上。就今天而言，在治理方面，什么是美德呢：透明度、国家能力、对实验室的可见性、网络安全、更严格的出口管制，以及一个足够富裕的世界，让没有人觉得有义务去按下那些危险的按钮。在私人层面，则要抓住日常实用性，对推进能力前沿保持高度怀疑，致力于对齐和安全，做好政策准备，向公众普及知识。“首先不造成伤害”意味着没有正当理由就不要加速，它并不等于厌恶风险。我们需要方差（variance）。按他的说法，2010 年代的错误，在于对有价值的想法保持瘫痪式的沉默和保密，这既掩盖了危险，也拖慢了有用的工作。