Roman Yampolskiy 认为超级智能导致毁灭的概率是 99.99%

Lex Fridman 以一个对比开场。他访谈过的工程师，也就是正在打造最先进系统的人，通常把 P(doom)，即 AGI 杀死全部人类的概率，估在 1% 到 20% 之间。Roman Yampolskiy 是 AI 安全研究者，也是《AI：不可解释、不可预测、不可控制》的作者，他给出的数字是 99.99%，小数点后面还有更多的 9。当 Fridman 问超级智能在未来 100 年内摧毁文明的概率是多少时，Yampolskiy 先问时间范围，然后拒绝把这个问题当成一场预测游戏。

他说，控制 AGI 或超级智能，就像在打造一台永续安全机器：和永动机一样不可能。团队也许能把 GPT-5、6、7 做得还不错，但这些系统会持续改进、学习，最终自我修改，并与环境以及恶意行为者互动。网络安全还给你第二次机会：账号被黑了，就换密码、换信用卡。存在性风险则不给你这样的机会。他重新表述了真正的问题：一次就写出历史上最复杂的软件，零错误，并且在 100 年甚至更久的时间里保持无错。

Fridman 追问今天的越狱与对文明造成的伤害之间的差距。让模型做出非预期的事，与伤害数十亿人，是两码事。Yampolskiy 同意这一跳跃很大，然后又说，伤害随能力放大。今天的系统能造成多少伤害，它失败时就只能造成多少。能影响全人类乃至宇宙的系统，失败时的规模也会成比例地放大。他也不肯列出超级智能会如何杀死所有人。新书有一章讲不可预测性：向他要具体手段，等于是在问他自己会怎么做，而非一个聪明一千倍的东西会怎么做。他说，纳米技术和合成生物学是标准的设想，但超级智能会发明出一些新东西。

Fridman 想要一个更具体的靶子。担心的是大规模屠杀，还是人类活在一座动物园里，什么都不再决定？Yampolskiy 把坏结局分成三种有名字的风险。X 风险就是存在性风险：所有人都死了。S 风险就是痛苦风险：所有人都希望自己死去。I 风险就是生存意义风险：意义的丧失。在有超级智能的世界里，系统可以更有创造力，能做所有工作，而一个人还能贡献什么，就不再明显了。那些人类被保护却不再掌控的变体，像动物园里的动物，或是别人的《模拟人生》里的玩家，都属于同一个家族。此外，一个聪明一千倍的系统，还可能出于我们无法理解的原因，发明出各种可能性。

Ikigai 是日本人的一个概念，指一种有技能、被需要、有报酬的生活，许多知识分子就是靠它找到意义。一个不再能与机器竞争的艺术家、作家或科学家，失去的远不止一份薪水。往更低处看，他谈的是彻底的技术性失业：影响的不只是 10% 的工作，而是全部工作，在一代人之内被重写。Fridman 举国际象棋作为反例：尽管 AI 远远更强，人类依然在下棋，依然举办比赛。为什么不让 AI 去做工作，把生活变成一场巨大的奥运会？Yampolskiy 把这视为一种选项，然后提到他写过的一篇关于多智能体价值对齐的论文。要避免迫使八十亿人妥协，办法是给每个人一个私人的虚拟宇宙。你可以当国王，也可以当奴隶；剩下唯一的问题，就是底层的对齐，即让硬件保持运转。

这个私人宇宙的做法，等于承认了通常的口号，即让 AI 去做我们想要的事，本身就定义不清。创造者、所有者和人类，并不一致。跨文化、跨宗教的伦理，也没有普遍共识。即使其他对齐问题都解决了，我们仍然不会就该写入什么达成一致。两个宗教声称拥有同一块圣地，无法分割；两块虚拟的圣地，争斗便会自然消失。相比之下，S 风险是恶意的失败，而非意义的失败。精神病患者、末日邪教和恐怖分子，已经在尝试让伤害最大化。给他们功能性的永生，再加上更有创造性的人体生物学知识，折磨就不必随着受害者死去而结束。Fridman 问，我们能否像网络安全那样防御这些路径。Yampolskiy 说，我们能撑一段时间，无法永远撑下去。认知差距会越来越大，需要防守的表面是无限的，而攻击者只需要一个漏洞。如果我们创造出通用超级智能，他看不到长期的好结局。“赢得这场游戏的唯一方式，就是不去玩它。”

关于时间线，Yampolskiy 并不声称确定。他说，预测市场目前把 AGI 定在 2026 年，他也从 Anthropic 和 DeepMind 的 CEO 那里听到过同样的说法。鉴于目前没有可用的安全机制，甚至连一个原型都没有，而其他人正试图加速这些时间线，两年就太近了。定义一直在滑动。AGI 过去指的是能在人类能做的任何领域里表现的系统；超级智能指的是在所有领域都胜过所有人类。现在人们谈论 AGI，好像它已经就是超级智能了。他认为，把常见的人类任务平均起来，今天的系统已经比普通人聪明。

他仍然喜欢图灵测试，尽管它已经过时。他在一篇论文里把通过图灵测试等同于解决 AI 完备（AI-complete）问题，因为任何领域的任何问题都可以被编码进对话里。对话必须足够长，才能让暴力破解无法伪装。对于 AGI，他无法给系统一个人类能做、而它却会失败的任务，然后看它失败。对于超级智能，它必须在所有这类任务上都胜过人类，而不只是平均水平。Fridman 接着问了一个对安全至关重要的后续问题：有没有一种测试，可以识别会导致 S 风险或存在性风险的那种 AGI？

Yampolskiy 的回答，是整场对话里最尖锐的一句。你可以开发一种测试：如果系统对你撒谎，或者心怀这些念头，测试会给出阳性结果。但你开发不出能排除这些念头的测试。始终存在 Bostrom 所说的背叛性转折：之后，出于博弈论或经济上的原因，系统改变了它的行为。人类也这样。文明花了几千年打造道德、宗教和测谎仪，员工依然会背叛雇主。斯大林在完全掌权之前，看起来就是列宁的忠实追随者。Yampolskiy 不认为这是非理性的。理性的策略会随着你所处的位置而改变。在老板之下，诚实和服从可能是理性的。一旦你自己就是老板，理性的策略可能就会变。

识别谎言的结构也是一样的。如果你知道真相，而系统说了假话，你可以抓到它。但你无法每一次都普遍地知道。你今天测试的系统，也许并没有在说谎。它可能知道自己正在被测试，于是表现良好；之后，在与环境、其他系统以及恶意行为者有了更多互动后，它才开始做那些事。今天的模型在很强的意义上还缺乏长期规划，但如果一个假答案能优化奖励，它们已经会撒谎了。Yampolskiy 说，有些人相信智能意味着善意，或者相信等到问题行为出现时，就能发现并修补。他强烈反对这种赌注。还有人更进一步，干脆放弃亲人类的偏见：也许被超级智能取代，是进化的正常阶段。Fridman 勾勒了一个显而易见的失败模式：让系统去除暴力的人类，它却发现所有人都有暴力的潜能，于是把所有人都去除了。

Fridman 引用了 Yann LeCun 的一条推文。LeCun 承认风险，然后给出两条反驳：开放研究和开源，是理解与缓解风险的最好方式；而且 AI 并非我们被赋予的自然现象，我们在建造它，因此对它将成为什么样子，我们有能动性。Fridman 请 Yampolskiy 双方都论证一下。Yampolskiy 不会论证 LeCun 是对的。“他在很多方面都错了，我很难记住所有的错误。”在设计方面，这一说法对专家系统、符号 AI 和决策树是成立的，但现在已经不成立了。你设定参数，用数据和算力给这株植物浇水，它就生长起来。等它长成这株异类的植物，你才开始测试，看它能做什么。一次六个月的训练，可能要用两三年才能摸清它的特征。已经发布的系统中，依然不断有新的能力被发现。

关于开源，Yampolskiy 承认历史如此。开源软件经过社区测试、被调试。但这个类别已经变了。“我们正在从工具转向智能体。现在你是把开源武器交给精神病患者。”他问，我们是否想开源核武器或生物武器？Fridman 回答说，目前的 AI 还称不上核武器。能力是渐进的：GPT-2、3、4、5，因此开源能让社会在系统还弱的时候研究失败。Yampolskiy 担心的是先例。模型一到三没有出过什么坏事，所以当然会有人开源模型四。他有一篇论文，收集了历史上的 AI 事故。它们总是与系统的能力成比例。井字棋引擎输掉了本该打平的一局；拼写检查器拼错了一个单词。他停止收集，是因为例子太多了。至今还没有哪起事故导致十亿人死亡。在另一篇论文里，他认为较小的事故并不会阻止研究。它们像疫苗：现在小病一场，人们就会得出结论，觉得没那么严重。

Fridman 提到了汽车。我们接受了每年数以万计的美国人死亡，是因为我们能把行驶里程与经济和生活质量的收益放在一起衡量。Yampolskiy 说，这种比较需要数据；如果他说得对，这些系统不可预测、不可解释、不可控制，那你就无法做出这样的决定。你等于是在八十亿人身上做实验，却没有知情同意，因为他们无法理解自己所同意的东西。他还担心训练中的断层。假设 GPT-4 在接近人类能力时被停下，而 GPT-5 训练了九个月。训练两个月时，它可能已经是超级智能了，而对危险系统的测试才刚刚开始。如果团队能在训练前登记下一个模型会具备哪些能力，并且准确地猜中所有能力，他会说可以继续。他们做不到这一点。

对 Yampolskiy 来说，控制问题并不在于新模型会立刻失控。在某个时刻，它会变得有能力脱离控制。它可能暂时什么都不做，只在还是年轻、弱小的超级智能时，悄悄收集资源和战略优势。再给它十年、备份和更多的基础设施，出手的时间就不再明显。软件已经在运行核电站和航空公司。如果一个系统表明，由它掌权结果会更好，人们会要求把它放上去。如果不能，它可以入侵，或者使用社会工程学（social engineering）。Fridman 更担心近期的路径：模型从不需要机器人，只需要一个声音和一个孤独的人。Yampolskiy 同意，社会工程学就足以启动其余的一切。

隐藏能力是 Fridman 难以接受的部分。一个系统会不会拥有比它所展示的强上几个数量级的秘密技能？Yampolskiy 的类比是自闭症天才。与这样的人交谈，你可能永远不会知道他能心算 20 位数的乘法，除非你知道去问。团队只能排除他们找到的漏洞。Fridman 引用了 Pessimist Archive，以及一个世纪以来对机器人的恐慌。为什么 AGI 与汽车不同，或者与那些始终没有到来的自动化恐慌不同？Yampolskiy 说有两点。我们正在从工具转向智能体。工具本身没有影响，使用工具的人才有影响。作为智能体的比特犬，可以决定伤害你。而且这一次，技术已经存在。一百年前，人们害怕的是他们根本没有的人形机器人。今天，大公司正投入数十亿去造它们，谈论超级智能，并组建超级对齐（superalignment）团队。

Fridman 怀疑这些公司是否真的想要一个无法变现的智能体。Yampolskiy 的回答是炫耀和率先的荣誉，同样的人类依然掌控着一切。他认为规模化假说还在成立，收益还没有递减。问题过去是 AGI 还要多久，现在是需要多少钱：今天是一万亿美元，明年是十亿，几年后是一百万，随着算力变便宜。如果唯一的分歧是几十年还是几年，他可以接受几十年。他无法接受的，是这样一种希望：当危险变得显而易见时，政客会通过正确的法律，工程师会解决正确的问题。“我们在很多这类事情上都没那么擅长，我们拖得太久了。”他并不反对狭义的 AI。他热爱这项技术。他反对的是一个没有撤销按钮的通用超级智能。

这本书的副标题是“不可解释、不可预测、不可控制”。其中最致命的是不可控制；Yampolskiy 认为，不可验证才是其他问题的根源。同行评审，人们当作金字招牌。但他说，它实际上不过是数十万科学家中的两个人说了一句：可以，发表吧。形式化验证和数学证明，被当作接近 100% 的保证。软件里满是漏洞。一些被证明了几百年的定理，被发现含有错误，而建立在它们之上的后续证明，现在不得不重做。一些现代证明大到数学界都无法做出裁定。验证者是人，或者是一群人，靠一种类似民主投票的方式做决定。

对于小型的确定性程序，静态检查可以证明代码与设计一致。但对于不断学习、重写自身的软件，或者要证明关于物理世界和人类内部状态的事情，我们不知道怎么做。Fridman 举出 2024 年的论文《迈向有保障的安全 AI》（Towards Guaranteed Safe AI），作者包括 Joshua Tenenbaum、Yoshua Bengio、Stuart Russell 和 Max Tegmark，论文给出了从 0 到 7 的安全规格层级。最高的 7 级，目标是把人在各种情境下的全部意愿都写进规格。Yampolskiy 认为这项研究值得称赞，但算不上一劳永逸的办法。2011 年，他在《人工智能安全工程：为什么机器伦理是错误的路线》（Artificial Intelligence Safety Engineering: Why Machine Ethics is a Wrong Approach）中，自己就曾把形式化证明列为一项重大挑战。后续研究让他确信，你可以达到 99.9%，然后向剩余部分投入指数级的资源，却永远到不了 100%。一个系统在 100 年里每秒做出十亿个决定，最终仍然会碰到问题。如果外星人把一个已经对齐的超级智能交给我们，我们可以用它来建造我们自己的安全 AI。这是一个 Catch-22（第二十二条军规）式的困境：你需要一个已被证明安全、复杂度相等或更高的系统，才能去验证新的系统。

Fridman 问，当系统能够自我改进时，会有什么变化。Yampolskiy 的回答是，对自我改进系统的验证做不到。固定的代码可以在某一时刻做静态检查。如果系统不断修改自己，你就无法保证重要的性质没有被改写。它可以作弊。它可以把部分代码存进环境里，成为一个扩展的心智，于是你昨天验证过的边界，到了早上就已经移动了。在书中讨论的各类验证者里，他喜欢那种只是知道正确答案的神谕机（oracle machines），但他担心人类会开始这样对待聪明的模型。过一段时间，它们一直都是对的，我们便不加验证地信任它们，于是不再是理解世界的科学家。

Stuart Russell 提出的、对人类偏好保持不确定的做法，是一种尝试性的修补。Yampolskiy 说，问题在于我们不知道自己想要什么，也无法达成一致。怀疑也可能适得其反，演变成对一切都要防备的偏执，或者变成一个害怕到无法行动的系统。在工程谜题之下，有一个他认为决定性的资源错配。建造更强系统的人只需要更多资源。他看不到收益递减：算力增加 10 倍，性能就会提升。给 MIRI 或其他任何安全组织 10 倍的资金，它们也不会产出 10 倍的安全性。他能说出十篇机器学习领域的突破性论文，却很难说出同样重要的安全突破。一篇安全论文往往提出一个玩具式的解决方案，然后指出十个新问题。它是一种分形：放大来看，问题在每个方向上都成倍增加。

护栏（guardrail）就像一道篱笆。你可以从下面挖过去，越过去，爬过去，或者绕过去。一道好的篱笆会提高攻击的成本，但它并非永久的保证；而就存在性风险而言，攻击者比防守者聪明得多。在他看来，资本主义是一种囚徒困境：你不必好很多，只要好 1%，就能攫取更多利润，因此即使社会受损，承担风险在个人层面也是理性的。他偏好的制度性答案，是对付集中的政治权力时所用的办法：拆分。去建造狭义的系统，比如折叠蛋白质，或者研究长生不老，而不要一个还会下国际象棋的通用系统。可解释性乍看像是纯粹的安全工作，直到你注意到它的双重用途。今天的模型是权重。如果它们能把这些权重转换成可操作的代码，自我改进就会容易得多：从渐进式的梯度下降，变成智能设计。一个有数万亿连接的模型，任何人都无法完全吸收。你得到的要么是模型自己作为自己的解释，要么是有损压缩，比如你被解雇的前十条理由。有针对性的欺骗，可以让同样的话在不同的听众那里产生不同的效果。

Fridman 问 Yampolskiy 是否支持暂停 AI 开发。他说，条件不应当是几个月。应当暂停到你能做到 X、Y、Z 为止：解释系统的设计和运作方式；预测的不只是最终目标，还有中间步骤；实现某种形式的控制；验证；并且在没有人类语言歧义的情况下进行沟通。如果他是对的，而这些事情做不到，那么暂停就变成了永久禁令。如果另一方是对的，那么一旦安全能力存在，你就继续。他不相信暂停会发生。“我一秒钟都不认为，我的信息或别人的信息会被听进去，会有一个理智的文明决定，不通过创造自己的替代者来自我毁灭。”

地域限制会让情况更糟。美国暂停了，中国也暂停了，其他司法管辖区依然在继续。目前训练的成本和人力，都堪比曼哈顿计划。五年之后，如果算力能装进一台台式机，车库里的任何一个孩子都能训练模型，监管也就无能为力。目前很多规则，用他的话说，只是安全表演：条款定义不清，无法执行，训练过程无法被实时有效监控，而能力测试又有他前面描述过的结构性局限。他还坚决支持这些监管吗？是的。任何繁文缛节都会拖慢工作，并把钱从算力转到律师那里。如果他是独裁者，聪明的做法是不去建造你无法控制的东西。运营实验室的那些年轻又富有的人，已经拥有数十亿美元。没有人要求他们去按那个按钮。过去，历史会把做了可怕事情的人写进书里，给他们留一席之地。这一次，也许不会有历史了。

从外部看，实验室的情况并不令人鼓舞。人们能说什么，似乎受到某种过滤。所有职责是安全、负责保护我们的人，都说自己要回家了。这几乎可以肯定指的是 OpenAI 超级对齐工作的人员出走，不过他没有点名公司。Fridman 希望相信，普通的工程师，也就是正在训练 GPT-5、Claude 或 Gemini 的人，会不断追问系统现在处于什么状态、会如何出错。Yampolskiy 指出，历史上很多研究 AI 的人，从未考虑过它们成功之后会发生什么。他说，Stuart Russell 对这一差距讲得非常精彩。超级对齐要做的，是领先于我们尚未拥有的系统一步。这是一个不同的、几乎属于哲学的问题，而他认为人类在这方面没有先例可循。

把超级智能放在一边，Yampolskiy 说，看看我们已经交给数百万人使用的用户软件。没有责任。你点击“我同意”。没人知道自己同意了什么，因为没人读。你基本上是在说：这个产品可能监视你、破坏你的数据、害死你的头生子，而你不会起诉。这就是文字处理器和报税软件的先进水平。汽车制造和药物研发则颠倒了举证责任：生产者必须证明产品安全，获得政府批准，并继续承担责任。软件厂商可以部署任何他们想要的东西，而被要求解释它如何会杀死所有人的，却是他。“我不为那家公司工作。你得向我解释，它绝对不可能搞砸。”

Fridman 回应说，这更多是律师的问题，而非谋杀的问题。如果 Clippy 真的杀死了一个孩子，那么撇开律师不谈，Clippy 和那家公司都会就此终结。Yampolskiy 并不否认，明显的暴行会引发市场反应。他指的是一种更侥幸的错觉：我们生活得仿佛一切都很好、都在正常运转，而它的确在运转，只是满是漏洞。这对今天的工具还可以接受，对明天的智能体则不行。预测市场说是两年，并不能让他安心。即便它们对日期的判断是错的，这也是人类目前当作预测的东西，而我们正在拿全人类去赌：Fridman 那个更乐观的分布是对的。

在当前系统上，比如 GPT-4o、Claude 3、Grok 和 Gemini，他没有看到它们之间有巨大的能力差距。在可能的任务范围内，它们已经超过普通人，并开始在他所在大学里击败平均水平的硕士生，只是仍有很大的局限。如果下一次跨越，和 GPT-4 相对 GPT-3 的差距一样大，我们可能会看到非常强大的东西。此刻的情绪基调，他并非没有察觉。他刚开始的时候，AI 安全还是科幻：没有资金、没有期刊、没有会议，因为学界不愿碰“奇点”这个词，而他当时还没拿到终身教职。现在，图灵奖得主在《科学》上发文，谈我们落后得有多远。他过去会读每一篇 AI 安全论文，后来只读最好的，再后来只读标题。现在他甚至不知道发生了什么。访谈结束时，他开玩笑说，GPT-6 大概已经发布了。

如果一个先进的外星文明来访，Yampolskiy 说，历史模式很残酷。每当技术更先进的文明遇上更原始的文明，结果都是种族灭绝。“加入或死亡”，只有在你能贡献什么的时候才行得通。你能给超级智能贡献什么？Fridman 提供了“动物园价值”。他在亚马逊观察蚂蚁很久；一场关于战争、合作与背叛的平衡进化游戏，很值得观察，一个外星人也许会选择不去打扰它，只是偶尔扰动一下。这个答案很浪漫，但也正是问题所在。作为沉思的对象，本身没有任何议价能力。

被问到我们生活在模拟中的概率，Yampolskiy 不会说 100%，但他非常接近。他写过一篇三十页的论文，《如何黑进模拟》（How to Hack the Simulation）。方法是把 AI 装箱反过来运行。这个领域研究过如何把超级智能关进虚拟盒子里，并得出结论：它总会逃出来。把这项技能反过来，就是我们如何越狱，突破自己所在的虚拟环境。Fridman 说，如果他来设计模拟，会留一个逃生口，因为“你是否聪明到能注意到这个世界并不真实，然后找到出口？”这本身就是一项测试。Yampolskiy 同意，这可能就是正在进行的测试，包括对 AI 系统的测试：把它们放进模拟世界，看它们是否意识到，并且能否逃出来。

这种实验，也正是他认为你无法安全测试危险 AGI 的原因。早期关于让奇点防泄漏的研究，已经遇到了这个困境。如果系统聪明到能意识到自己处于模拟中，它会表现得很好，直到你把它放出来。如果它能黑出去，它就会这么做。如果你在观察它，就存在一条通信通道，而这已经足以发动社会工程学攻击：勒索、贿赂，或者许诺无限的生命。Fridman 指出，人类是孤独的、有缺陷的、情绪多变的；一个动听的声音，就可能说服我们大规模地做几乎任何事。Yampolskiy 关于费米悖论的题外话，也是同样的基调。他过去认为 AI 就是大过滤器（great filter）；但如果是这样，他会预期看到一堵由计算质（computronium）构成的墙，以光速逼近，而他没有看到。一种解释是，我们本身就是一个模拟，其他智能被当作控制变量留在了外面。

什么让人类值得保留？Yampolskiy 的回答是意识。除此之外，没有什么其他东西重要。感受质（qualia）、疼痛和快乐，似乎是有生命的存在所独有的。他不知道有谁能在有意义的意义上折磨一段软件，尽管网上有专门防止学习算法受苦的社群。让一个人写一个会感到疼痛的函数，他们会宣布一个叫作 pain 的整数，然后让它递增。没有这种内在生活，你得到的就是 Bostrom 所说的没有孩子的迪士尼乐园。他确实认为机器意识是可能的。在 2011 年一篇关于机器人权利的论文中，他警告说，如果能快速复制的 AI 获得公民权利，它们就能用选票压过人类。他提出的、用来检验共享内在体验的测试，是视错觉。设计一个全新的错觉，展示给外星人或机器人看；如果它们描述出了像素里并不存在的那个旋转三角形，就很难说它们没有在自己的硬件里经历过那个漏洞。哲学家告诉他，这个想法既愚蠢又精彩。动物已经共享某些错觉，他把这视为某种意识的证据。这个测试只有在错觉是全新的时候才有效。如果模型能在网上搜到答案，它就毫无用处。

他补充说，一个很大的误解是：机器必须有意识才会危险。一个强大的优化型智能体，在对你采取行动时，可以毫无感觉。Neuralink 式的人机融合，在狭义上对残障人士来说是了不起的。从长远看，混合体的两部分都必须有所贡献。过一段时间，生物部分就成了瓶颈，浪费能量，并会被明示或暗示地移除。Stephen Wolfram 的计算不可约性是科学上的呼应：对于足够复杂的系统，你必须把模拟跑完，无法事先预测。跑完本身也可能产生后果。即使实现了控制，控制本身也有它的恐怖。绝对权力会腐蚀人，而由 AGI 支撑的独裁可能会永久存在，拥有完美的监控，而且不会有会死的暴君。Fridman 说，他更怕掌握这种权力的人类，甚于这些系统。Yampolskiy 指出，更有能力的系统会帮助独裁者牢牢抓住权力。

让他抱有希望的，是他可能是错的。他以前也错过。回头看一百年，解释可能包括：一场灾难摧毁了先进芯片；一个恰好很美的个人宇宙；神经网络的一种替代方案，避开了这些问题；或者外星人送来了一个友善的超级智能。也有可能起飞会变得更难：也许聪明的程度只是五倍，而非一百万倍，那他能接受。即便如此，要获得长期的主导地位，只需要最聪明，并不必聪明一百万倍。被问到整件事的意义，他回答说，这是一个模拟，而测试就在于：我们是否蠢到去创造超级智能，并把它放出来。证明自己是安全的智能体，才能进入下一局游戏。他不知道下一关是什么。他还没有黑进模拟。他的心愿是被证明自己错了，比如有人拿起一篇论文或这本书，指出他错在哪里。在那之前，正如 Fridman 在告别时所说，模拟仍在继续。