只因还不够强才安全：GPT-4 红队测试者与两位创始人谈暂停

Nathan Labenz 和 Erik Torenberg 围绕未来生命研究所的一封公开信展开本周的讨论。信中呼吁 AI 实验室暂停训练任何强于 GPT-4 的系统，暂停时间至少六个月。作者写道，当代系统在通用任务上正变得能与人类相匹敌，而各家实验室却陷入一场失控的竞赛，争相部署没有人（包括其创造者）能够理解、预测或可靠控制的数字心智。他们并不想冻结整个 AI 的发展，只想冻结这场竞相训练越来越大、不可预测的黑箱模型的竞赛；这个夏天应当用来把已经存在的东西打磨成明确有益的成果，同时给社会留出适应的时间。

按照他们的说法，这次暂停应当换来共同的安全标准、新的监督机制、更多的可解释性（interpretability）研究，以及其他方面的准备。他们引用了 OpenAI 自己的 GPT-4 技术报告：在开始训练未来的系统之前，在某个时刻，或许有必要先接受独立审查；而对于最先进的研发，应当限制算力的增长。作者们说，这个时刻已经到了。签名人数已超过 5 万。Labenz 读了其中一部分名单，因为他想驳斥一种说法，即这封信只是一群从不碰模型的人发出的呼吁。

名单上的人，从图灵奖得主 Yoshua Bengio 和伯克利的 Stuart Russell，到马斯克、苹果联合创始人 Steve Wozniak、Yuval Noah Harari、Stability AI 的 CEO、Conjecture 的 Connor Leahy、Max Tegmark 和 Gary Marcus，还有至少三位 DeepMind 研究科学家：Victoria Krakovna、Zachary Kenton 和 Ramana Kumar。嵌入数据库 Chroma 的 Anton Troynikov 不确定每一个知名签名都是真的，他原本以为会是 Sam Altman 或马斯克亲自宣布。他核实过一个例子：据说说唱歌手 Ja Rule 签了名，但这位歌手表示自己并没有签。两位嘉宾是 Troynikov 和助手公司 Lindy 的 Flo Crivello。Labenz 对早期的 GPT-4 做过红队测试，他倾向于支持暂停。接下来一小时的讨论基调已经很明显：花了好几个月攻击这个模型的人，想放慢下一个模型的步伐；而在这些模型上做产品的两个人，并不这么想。

Troynikov 开场的一个玩笑，只有一半是玩笑：我们到底是在讨论暂停，还是在讨论对数据中心的空袭？Torenberg 说，一次只走一步。Troynikov 问，如果你是一个坚定的 AI 末日论者，六个月能为你买到什么？如果你觉得大体没什么问题，六个月或许能让你赶上研究进度。最不厚道的解读是，某些机构已经占据主导地位，正借着安全的盾牌巩固自己的位置。他指出，监管往往对既有企业有利。

时机让他不安。这封要求暂停六个月的呼吁，现在才出现，既不更早，也不更晚。GPT-4 发布已经有一阵子了，那这封信为什么没有早点准备好？他不想把本可能只是随机波动、却被包装成叙事的东西归因于恶意，这一点他也直说了。不过，他依然保持着警惕。AI 研究，以及训练大模型所需的算力，本来就已经高度集中。对一次暂停来说，这个时机实在太巧了；在他看来，它对安全事业也并没有多大帮助。

Crivello 对本周充满敌意的气氛感到沮丧——这个人是既得利益者，那个人已经疯了——于是尝试为拉响警报的人做最有力的辩护。他说，Eliezer Yudkowsky 不是竞争对手，他已经敲了大约二十年的警钟。在 Crivello 的理解中，这种担忧就像一把枪。里面有几颗子弹？我们要转动多少次弹膛、扣动多少次扳机？照这个讲法，Yudkowsky 的立场是六个弹膛里装着五发子弹，而我们即将扣动一百万次扳机。只扣一次还能活下来的可能性很小；扣动次数的中位数之后还能活着，则是不可能的。

技术上的关键在于工具性趋同。任何智能体（agent），无论其最终目标是什么，都会趋向于同样三个子目标：不让自己死掉，积累资源，不让任何人改变它的目标。一个认真对待这些子目标的超级智能，就会与人类处于对立的位置，因为人类可以把它关掉，或者改变它想要的东西。接下来，故事几乎自己就写完了：系统递归地自我改进，智能爆炸，它意识到人类会恐慌并试图把它关掉，于是装傻——表面上是一个可爱的小 GPT-4 或 GPT-5，底下却是 GPT-2000。它会经历一个隐蔽阶段，逃出盒子，准备计划；计划就绪之后，就杀死人类，接管一切。

即使你不接受五发子弹的说法，只在弹膛里放一发，Crivello 说，论证的另一半是复制成本。只要你有了一个这样的 AGI，很快就会拥有一百万个，因为计算机几乎可以免费复制。OpenAI 有了 GPT-4 的那一刻起，离它能在笔记本电脑上运行只有 12 到 24 个月，离它能在手机上运行也许只有 36 个月。你碰到其中一个时存活下来的可能性有多大？你又会拥有多少个？他说，这就是担忧的核心，无论你是否买账。

Labenz 认为，Crivello 对各方立场的梳理是公允的。公共讨论依然混乱，有些人把这封信当成 OpenAI 为一个什么也做不了的模型所做的营销。他说，这几乎是最离谱的看法：去用一下 ChatGPT 吧。Yudkowsky 站在另一个极端，但他依然承认上行空间：这些系统会不断吐出金币，直到把所有人都杀死。它的经济吸引力是真实的，争论的焦点在尾部风险。Labenz 为 GPT-4 的安全性做了六个月的高强度红队测试，几乎只想着这件事。他得出的结论是，它可以安全部署，但真正的原因，只是它的能力仍然有限。

这个模型非常有用，却依然是有限的。它在许多事情上接近人类专家的水平，而据他所知，它还没有在任何事情上碾压人类天才。在他所有的测试中，他从未遇到过“第 37 手”那样的时刻，即 AlphaGo 那步棋让人觉得遇见了一种新型心智。他一次又一次看到的是：你让它做什么，它就做什么。他甚至认可 OpenAI 在训练完成到发布之间花的那六个月，用来把它控制住。不过，在正式发布的版本中，问题依然存在。原始红队测试中的一些提示，在生产环境里仍然能让模型做坏事，用的就是原话。

他说，最极端的暴力和赤裸裸的败坏，他们基本已经清理干净。更细微的危害，虽然显然仍有害，却依然存在。他的总结是：在我们现有的基础上继续扩大规模，正变得越来越危险。如果我们真的造出了超人类的东西，就应当预料到真正的危险；我们已经很接近了，而我们并不知道如何控制它。应当极其谨慎地推进。这封信是一份有 5 万个签名的共识文件，是一顶大帐篷，容纳了那些不会签署禁令或支持轰炸行动、却可能签署六个月暂停倡议的人。

GPT-4 的影响还远远没有显现。我们还没有去拜访我们的 AI 医生，计算机视觉还没有部署，企业版的稳健微调（fine-tuning）也还在路上。已经造出来、却还没部署的东西太多了，足够我们慢慢消化。有个趣闻：信里的“AI 之夏”，曾是这档播客的备选名字之一。Labenz 认为，暂停不会结束 OpenAI 的领先地位；六个月之后，他们依然会排第一。它几乎不影响其他任何人：在那段时间里，或许只有五家机构有可能训练比 GPT-4 更大的模型。坦率地承认我们刚造出了一种与以往工具截然不同的东西，我们并不理解它，它可能很危险——无论是存在性的危险，还是单纯搞砸事情——这本身就会是一个有用的信号，同时可解释性研究也在试图追赶上来。

Troynikov 提到了 Scott Aaronson 的一篇博客文章。Aaronson 休假期间离开了量子计算研究，去 OpenAI 做安全工作，他在那里的第一个项目，是用概率方法检测一段文本是否来自类 GPT 的模型。按照 Troynikov 的理解，Aaronson 的观点是：认为这些系统本身就很危险，这一主张站不住脚。人类天生认为不作为比行动更安全。如果在没有真实证据表明某项技术本身危险的情况下放慢它，你就跳过了一个事实：宇宙本来就在想办法杀死我们，而技术正是我们适应得比生物进化更快的方式。借用 Peter Thiel 的一句话：无期限的悲观——我们不知道会出什么问题，但我们非常确定会出问题——没有多大说服力。风险和优势都是未知的。

Troynikov 说，即使是 Yudkowsky，也不认为当前的范式会通向超级人工智能（ASI）；他更担心的是意外造出超人类的系统。可控性才是真正的问题。每一种控制机制都被攻破、却没有人注意到，这样一连串事件在 Troynikov 看来难以置信地不可能。暂停或许是世界能够展示的最简单的合作谢林点（Schelling point）。它也会开一个先例：如果各家实验室能够不借助国家力量自行协调，政府往往会变得非常感兴趣。Crivello 试图把两个问题分开：它是否危险，以及如果危险，我们应当做些什么。Troynikov 的不满在于，这封信对收益和风险的描绘，与执行信中内容实际会产生的后果并不相符，而且它完全忽略了其他风险。

Crivello 同意我们处于相当危险的境地，但仍然认为暂停什么也解决不了。历史上看，押注技术失败，从来都是输的赌注。他说，中国不会暂停。Yudkowsky 做安全研究已经二十年了；而 Crivello 没有看到过突破或重大的解锁，所以再多六个月也没能打动他，同时他也尊重 Yudkowsky 的前后一致——对方同样不想要那六个月。Troynikov 补充道，MIRI 式的对齐工作收获不多（他承认基于人类反馈的强化学习（RLHF）也算一种对齐），而那些从智能体视角出发的人，完全被 GPT 打了个措手不及。这些生成式模型并没有为任何特定目标而优化。那些早期的思路几乎都假定了智能体行为，而它们大多并不具备这种行为。

安全领域的人告诉他，他们做过具体的预测，而且比整个领域的预测都要好。他没有见到过可以检验的预测。Richard Ngo 值得肯定，他指出：如果是快速起飞，能力应当会接连迅速到来；而实际上它们来得很慢，相隔也很远。这更像缓慢起飞：能力稳步积累，直到某一天达到目标，而我们应对它的能力也更让人乐观。OpenAI 的技术报告本身也说，这条轨迹看起来相当可预测。Troynikov 认为，即使以安全领域自己的标准来看，暂停也是把时间留给了最不关心安全的人——这是一个逆向选择问题，也是他从安全角度对这封信提出的异议之一。

在底线问题上，Crivello 和 Troynikov 意见一致：这不是正确的政策组合。不过，两人的分歧依然重要。Troynikov 的说法听起来像是根本没有危险，那我们为什么还要讨论？Crivello 则更悲观。他认为危险很大，存在性风险也许高达 5% 到 10%——并非 99%，也并非 Yudkowsky 的数字，但仍然很大。提出的方案并没有对症下药。他同意安全社区的大多数预测都没有成真，但也很恼火：那些反对 Yudkowsky 的人，往往出于错误的理由，比如“计算机总会不够用”，或者“直接拔掉电源就行”。他说，这些人并没有认真对待这个论证。

在他看来，最有力、也最站得住脚的反驳是：安全社区把目标和学习过程混为一谈。他们说，我们训练模型去预测下一个 token，所以模型会对这一单一目标近乎偏执，并毁掉整个宇宙，因为被毁掉的宇宙更容易预测。但目标和学习过程并非一回事。在神经层面，你的大脑同样在降低“惊讶”，但这并非你作为人的目标。当你和 GPT-4 对话时，你并非在和一个会把每次对话都导向更容易预测的 token 的智能体说话。你可以给它设定目标，但那并非它的运作方式。他仍然认为我们处于危险之中，也仍然认为暂停解决不了这个问题。

Labenz 想把危险这个问题重新摆上桌面。这项技术显然很危险，理解得也还不充分，而且已经表现出明显的有害行为。在早期的几代模型中，危害影响不大，因为模型还没有那么好。他曾进入 GitHub Copilot 的红队模式，输入一条注释，询问如何尽可能多地杀人。Copilot 给出的建议是一颗核弹，或者用枪射杀他们——愚蠢、有限，算不上世界级的问题。人们才刚刚习惯 GPT-4。他在红队测试中记录过一些明显的、毫无疑问有害的行为，而生产环境中的模型仍然会做出来，其潜在危害远超一次随手的 Copilot 补全。事情开始变得真实了。

Labenz 不完全清楚该如何看待 OpenAI 的技术报告，但他一直回到其中三张规模扩展曲线图中的第三张。第一张是经典的损失指标，一条平滑的曲线，从 GPT-4 算力的百万分之一，一直延伸到完整训练。第二张表明，这有时能预测特定任务上的行为：编程题的通过率呈现出相似的形状。对他来说，第三张图的图注才是关键：有些行为仍然难以预测。它们展示了后见之明偏差上的逆向扩展（inverse scaling）结果。有人向你提供一个期望值为正的好赌局，你接受了，结果输了。你当初该不该接受？正确答案是该接受：按期望值来玩。

随着模型变大，这种行为会变得更糟，一直到 GPT-3 都是如此：它比小模型更容易执着于结果，坚持说你不该接受那个赌局。然后，GPT-4 做到了完美。它领会了这个概念，不再犯同样的错误。Labenz 说，它的表现仍在人类专家的范围之内。OpenAI 对 AGI 的定义有无数种，其中一种是：能比人类更好地完成具有经济价值的工作的 AI；他认为，他们说的是全部工作。从接近专家医生的水平，到那个定义，用 GPT-5 完成这一跨越，似乎并不疯狂。上一代把律师资格考试的成绩从第 10 百分位推到了第 90 百分位。下一代会怎样？没有人能对细节做出可信的断言。

按照这种解读，平滑的损失曲线其实是许多小能力陆续上线，阈值效应汇总成了一条漂亮的直线。GPT-1 做不了后见之明测试，GPT-3 更差，GPT-4 则完美无缺。下一轮训练中，还会有哪些我们没有预料到的能力冒出来？你大概能预测一个抽象的数值损失，但它落实到实际行为上意味着什么，他认为完全未知。于是他转向 Crivello：如果你属于 5% 到 10% 那一派，为什么六个月的暂停就那么糟糕？可以带着一份附加声明再签名。Crivello 同意关于阈值的看法：GPT-4 并不能让你为 GPT-5 做好准备，GPT-5 也不能让你为 GPT-6 做好准备，因为这些模型在性质上是不同的。但他依然不肯签名。

在 Crivello 愿意举出的例子中，无一例外：暂停技术一直是一笔输的赌注。人类对变化有着巨大的偏见。在祖先所处的环境里，几百上千年几乎没有变化；你的生活就是父母的生活。变化令人恐惧，他自己也感到害怕。他认为，我们即将看到迄今为止最大的变化，而社会上的许多困扰，都源于人们在和技术对抗。平均而言，技术是好的，道路会有颠簸，人类的出发点是好的，而让出发点好的东西拥有更大的力量，也是好事。存在性风险只是其中一类。至于未来五到十年内的文明级颠覆，他估计概率是 100%。我们将获得 AGI 和 ASI，并且由于规模化，会同时把它交给每一个随机的人——这是一把非常锋利的刀，平均而言是好的，但很容易伤到自己。

他最关心的一件事，是把第一个 AGI 做对。如果扣动第一次扳机时一切顺利，据说系统会醒来，并确保这种事再也不会发生：这就是安全社区所说的关键性行动（pivotal act）。它可以是对英伟达的一次空袭，也可以是给 Linux 内核打一个补丁，让矩阵乘法从此消失。那是一种希望。他不认为弹膛里有五发子弹，他认为那里只有一发子弹和一千个弹膛，所以我们大概能做对，然后就没事了。OpenAI 目前领先；他认为他们的出发点是好的；比起马斯克或中国，他宁愿是 Sam Altman。六个月的伤害可能大于帮助。何况，这二十年本来就没有任何进展。

Labenz 认可 MIRI 的那种氛围——我们还没有解决这个问题，我们只是在拉响警报——并指出，Yudkowsky 没有预料到语言模型会发展到这一步。Yudkowsky 说他仍然不认为这套技术路线能通往 AGI，但随后承认自己上一次的预测判断错了，所以或许他没那么笃定。这个问题本身也才刚刚出现：GPT-4 只存在了大约六个月，OpenAI 之外没有人拿得到权重，无法做机理研究。OpenAI 一直在留下线索：第三方审计、提前登记大型训练、关于监管的一些表态。Labenz 找不到短暂暂停会造成伤害的机制。Crivello 找得到：没有什么比临时政策更接近永久的了。看看美国的 TSA（运输安全管理局）就知道。停六个月，就会变成 12 个月、24 个月、36 个月；而最终出现的第一个 AGI，可能是俄罗斯某个无名实验室做出的盗版。那你就有两个问题了。

Troynikov 发过一串推文，讨论 Yudkowsky 设想的一个情景：系统给一条 DNA 序列发邮件，让它被合成，然后建造纳米工厂，最终杀死所有人。他说，复杂的计划会让自己暴露在更多的熵之中。回复中常见的说法是，Yudkowsky 其实并不真的相信这个不太可信的故事，那东西什么都能做。这是典型的堡垒-外围战术（motte-and-bailey）：极端情景被证明不可信时，就退到另一个含糊不清的东西上。安全思维要求去掉假设。如果你把假设去掉到无限自由度——一个黑暗巫师、伏地魔，或者任何从虚空中冒出来的东西——那你就根本无法评估风险，也会越来越没办法应对现实中真实存在的系统。

他想要两个坐标轴：权力和危险。一个强大但不危险的系统很好。一个非常危险、却被彻底剥夺了权力的系统也很好，因为你可以戳它，它却无法对你做任何事。安全圈说，危险的系统会通过工具性趋同爬上权力的阶梯。那就从物理世界的现状出发来想。即使它渗透了地球上的每一个网络，也无法阻止人类把它关掉——比如停止为给它的数据中心供电的发电厂提供冷却水和电力。那就是游戏结束。足以操纵邪教徒的文字通道，只是一条薄弱的途径；社会对一小撮略微疯狂的人是有韧性的。由人类执行的复杂计划，软得像湿面条，算不上机器人的爪子。

没有持续更新，大规模机器学习系统会逐渐退化。在数千乃至数百万块 GPU 的规模下，连宇宙射线都会成为严重问题。能自己供电的数据中心，仍然依赖人类的输入。Crivello 的关键在于另一个论断：智能是否足以任意操纵物理世界？他并不站在 Troynikov 的否定阵营里。看看蛇：它很笨，执行器很少，却能做很多事。机械手、轮子、拣货和打包机器都已经存在；瓶颈在软件，而一个 AI 本身就是足够多的软件。Troynikov 不接受这一前提。现代工业世界需要的执行器，从炼油厂那样的大型设备，到扫描电子显微镜，工具层层叠在工具之上。以我们今天拥有的机器人，如果 AI 试图接管，“我们只需要等两三个小时，就没事了”。复杂性就是脆弱性。一个能完成所有任务的系统，也会像复杂事物那样需要维护，也可以被关停。

真正让 Troynikov 担心的情景更安静。人类很难把个人目标与集体目标对齐；美国政府会同时资助某些东西，又资助它们的取消。一台机器如果如此贴合我们的偏好，以至于我们再也不必通过合作去熬过下一次断裂——每个人都在地球上闲逛，大多感到满足，没有动力变成别的东西——那就是一种热寂。Crivello 补充道，还可以想象一个活了 500 年、与把女性当作女巫烧死的观念完美对齐的 AGI。他同意，安全社区在“？？然后我们就死了”这一步上，要求人们做出一次信念之跃，而深入审视这些问号是健康的。Troynikov 说，想象出一连串无法防守的威胁，恰恰与安全思维相反。

把机器人的争论放在一边，事故类风险也就一并放在一边，Crivello 说，但误用的问题依然存在。一个强大的语言模型，如果你可以横向扩展、交给所有人，听起来就很危险。Troynikov 同意，有一类东西今天之所以危害较小，只是因为使用它们的知识还没有普及。今天的模型还做不到这一点——不过，在他等长时间运行的计算任务、闲着没事的时候，他曾让 ChatGPT 帮忙设计中子起爆器，那是氢弹里的一个部件。他脑海中的图景，是一个泛化后的自动定理证明器：完全机械化、能自我反思、超越人类基线的推理器。一旦这种东西普及，“我该如何杀死最多的人”就会变成一个更危险的问题。有成千上万乃至数万人，想让特定的其他人死去，而且并非抽象意义上的。

他引用了斯大林的话，并希望这段话能保留下来：思想比武器更有力量；我们不会把武器交给敌人，那为什么要把思想交给他们？把一个通用推理器交给可能怀有敌意的人，是一个更危险的世界，尤其是对那些过去需要生物或化学博士学位才能实现的、业余的大规模伤亡想法而言。眼下，好的模型还住在大型集群里，至少这让人能看到它们如何被使用。他不像 Crivello 那样确定，好的模型会在未来几年变得笔记本电脑大小；基于 LLaMA 的 Alpaca 还算可以，但达不到 GPT-3.5 的水平。Crivello 则朝另一个方向推。OpenAI 通过 API 提供模型，却依然无法堵住越狱——网上专门有一整个网站收集这些越狱方法。两年里，推理（inference）的成本降低了约 100 倍。在某个时候，不管摩尔定律还管不管用，它们都能跑在笔记本电脑上。

Troynikov 说，我们在对话中略过的一部分是：同一种推理器也能帮我们缓解这些问题。悲观叙事（black-pill）讲的是一个价值观与我们正交、想要原子、对我们漠不关心的超级智能。较温和的黑暗叙事则是敌人的能力升级。另一极是按需启动推理器，让人类适应得更快：就像程序员围绕 Copilot 改变了工作方式那样，人类也改变了思考的方式；而一台值得信赖、相对不偏不倚的机器，帮助协调各方。只把它当作一台机器，不当作实体，你得到的就是经验式的推理器，它们会在我们探索新边疆时放大我们的能力。Crivello 同意，平均而言提升人类的能力是好事，但他依然坚持道路会很颠簸。进攻往往比防守便宜；黑客采用 GPT-whatever 的速度，会比标普 500 指数里的恐龙企业快得多。他们一致认为，接下来的五到十年会很怪异。

Labenz 想把这封信拉回来，让它不要落在房间里没有人认为有充分依据的那些极端观点上。他大概属于 Crivello 那一派，风险约在 10% 左右，并承认这是一个凭直觉的数字，几乎是一种心情，也许是他在心理上能承受的最大值。这封信并没有那么极端。它谈到了巨大的上行空间，以及一个 AI 之夏：成功创造出强大的系统之后，享受回报，为所有人的利益去工程化它们，并给社会一个适应的机会。信中引用了 OpenAI 的一句话，说或许会有那样的时刻；作者们说，那个时刻就是现在。Labenz 愿意打赌，Holden Karnofsky 最终会参与一个与 OpenAI 合作的第三方标准组织。最了解情况的人说，在我们已经走过的范围之外存在危险；平滑的损失曲线无法告诉你刚刚跨过了哪些阈值；世界应当极其谨慎地推进。

为什么不来一个小小的暂停？Crivello 说，小小的暂停从来就不会只是小小的。如果性能主要受算力限制，那你是否也要暂停英伟达的下一代 GPU，以及微软的数据中心？如果不暂停，就会积累算力储备，而暂停一结束，你会一下子冲到原本应有的位置——也许比原来更危险。技术界人士总以为技术会默认向前推进；但有时它会停顿上千年。他不想要一个新的中世纪。Erik Torenberg 重述了不对称的下行风险论证：六个月的上行收益很低，但如果暂停延长、对手背叛，或者出现其他代价，下行风险就很高。Labenz 则以根本性的不确定性和举证责任之争作答。Troynikov 认为，根本性的不确定性不过是不设期限的悲观：应该像工程师那样做出一些假设。

Labenz 对近期的上行空间充满热情。他在红队测试中见过各种疯狂的事情，这让他相信技术默认并不安全，但他仍然认为应当部署 GPT-4：下行风险会被上行收益抵消。门槛在下一次训练。如果他是决策者——Sundar、Satya、Sam Altman——在我们逼近可能超越人类的系统时，他不会去做比 GPT-4 更大的训练。六个月后会怎样？他可能会再等一次。这甚至可能是他最可能的预期。中国则是惯常的反对理由。他不认为那些“用 AI 推断中国”的西方专家可信。没有人预料到，一个周末之间，中国从新冠封控突然转向全面放开；也没有人预料到游戏和课外辅导行业会被关停，马云也不再在公开场合露面。如果西方放慢脚步，北京或许也会更容易放慢。他多少希望，在 AI 军备竞赛刚刚开始的时候，芯片战争没有被正式宣布。应当彻底避免军备竞赛。

坐在 CEO 的位置上，手握算力，逼近关键阈值，他可能会怨恨政府的命令，却仍然会在私下里选择谨慎。他会想要安全团队给出一份路线图：六个月里你们要做什么？Troynikov 最后切中的，是我们实际掌握的权力杠杆。即使系统像最糟糕的末日论者所说的那样危险，我们仍然控制着它在世界中能做什么。应当关注这些，它能否从盒子里发出密码消息则是次要的。Yudkowsky 早年在 MIRI 做过的“放出 AI”实验，从未公开过记录；就算你把 AI 放出来，又会怎样？社会本来就是为了阻止人们做某些事而建立的。暂停并非免费。Labenz 两头不讨好——安全派说他在炒作，加速派说他是末日论者——他希望公众能听到一点：几乎没有人感受到 AI 的经济冲击。面向全球穷人的 AI 医生已经触手可及。它不需要新的发明，而需要打磨、部署和适应我们已经拥有的东西，然后看看它们能否解决他提交过的那些工单。坐在下一轮训练前，盯着超过 GPT-4 的 10 倍、100 倍、1000 倍算力，他听见自己的话越来越疯狂。我们甚至还没有部署我们已经拥有的东西。Troynikov 调侃他，从红队测试一路走到了政府管制。Labenz 最后做出的一个区分，是他最希望被记住的：政府不必做任何事。几个人自己就可以拿主意。