Bostrom 不选岔路：模拟论证是三选一，不是一场押注

Lex Fridman 开场就请 Nick Bostrom 回答那个经典问题：什么是模拟假说？Bostrom 是牛津大学的哲学家，也是人类未来研究所（Future of Humanity Institute）的所长。他希望人们把这个说法当作字面意思来理解，而不是把它当成“宇宙在某种意义上是信息”之类的比喻。一个先进文明造出了大量计算机。我们所看到、所想、所感的一切，包括我们自己的大脑，之所以存在，是因为其中某台计算机正在运行某些程序。他说，今天的机器只要造得更大一些，就能做到这件事。量子计算机或许会有帮助，但得出“技术成熟的文明能在模拟中承载有意识的存在”这一结论，并不需要量子计算机。

他并不把这个想法当作计算机科学的工具来推销。它有信息量，也很有意思，或许很重要，对哲学、宇宙学和物理学都有价值，因为运行模拟的那台计算机的物理规律，未必与模拟内部的物理规律相同。接着，他划出了大多数通俗版本都会模糊掉的那条界线。模拟假说是说我们处于一场计算机模拟之中。模拟论证则是一组三选一的命题：三条命题中至少有一条为真。论证本身并不说明是哪一条。

第一条命题是：在我们目前的技术发展阶段，几乎所有文明都会在达到技术成熟之前灭绝，这是横跨整个宇宙的一道大过滤器。第二条是：那些确实发展成熟的文明，会对创造祖先模拟失去兴趣。第三条是：我们正生活在一场模拟之中。Fridman 指出，人们常把论证和假说当成同一回事。Bostrom 多年来回答这个问题的整个过程，实际上就是拒绝把两者混为一谈。他不会挑一条自己中意的岔路。

第一条岔路是否可信，取决于一个 Bostrom 认为在这个论证之外也很有用的概念：技术成熟。即使只依靠现有知识，也能给一个文明能做到的事情划出一个下限，那就是发展那些我们已经看到其可能性的技术。他的同事 Eric Drexler 早在 1980 年代，就用理论和计算机建模研究过分子制造，也就是原子级精确的结构，当时和现在都没有人能造出来。即便如此，你仍然可以说：如果把这些原子按这样的方式排列，这个系统是稳定的，它能以这样的速度旋转，并具有这些计算特性。Drexler 还勾勒出了一些路径，假以时日就能抵达那里。

太空殖民又提供了另一重界限。光速是上限，当前的火箭是下限，只要把火箭造得更大、加更多燃料，速度就能更快。把分子纳米技术和这种空间能力结合起来，就能得到一个非常高的算力下限。Drexler 描述过一台由这些部件造出的粗糙计算机，它的运算速度能达到人脑的一百万倍，而体积只有一颗方糖那么大。他并没有说这是最优设计。它只是一个下限：既然能做到原子级精确，那至少就能做到这一步。对 Bostrom 来说，技术成熟意味着：在这个宇宙中可能存在的通用且广泛有用的技术，已经被用到了极限，或者至少掌握了其中的 99.9%。

他推测，技术会有一个天花板，之后不会再有源源不断的新基础能力出现。起源于人类的文明会在机器超级智能出现之后不久抵达这个天花板，时间尺度是历史级的，而不是几百万年。这个推测与模拟论证无关。对论证本身而言，天花板是 100 年后到达还是 5000 万年后到达，或者技术是否会无限增长，都无关紧要，只要我们知道某个水平是可以达到的。但如果你想给这几条岔路排序，难度就确实重要了。如果模拟离我们还有几十亿年，那么途中灭绝的可能性就更大，概率会向第一条岔路倾斜。无论哪种情况，三选一都依然成立。

第一条岔路并不等于“有东西可能杀死我们”。小行星可能杀死我们。要让第一条命题成立，宇宙中几乎所有文明也都必须无法达到技术成熟。这暗中假设了文明的数量很多。Bostrom 说，按照目前最流行的宇宙学理论，宇宙在空间上是无限大的。无限的物质加上局部的随机性，会让所有可能的结果都以概率一出现，而且无限次重复。那样的话，外星文明就是必然存在的，而且有无穷多个。如果我们真的是唯一的文明，那么在我们死去的那一天，第一条岔路就会成立。如果文明的数量很多，它们几乎全都必须以同一种方式陨落。

人们常把两个问题混在一起，Bostrom 把它们区分开来。什么最可能杀死我们，是一个问题。如果有什么东西会在各处杀死几乎所有人，那它会是什么，则是另一个问题。第二个问题的答案必须是一种在所有可能文明中都大致均匀分布的风险因素，是一个结构性的障碍，而不是人类生理上的某种偶然特性，或者某一条技术路线的问题。Fridman 打趣说，聊得有意思的人，最后总会绕到费米悖论上。与其问“大家都去哪儿了？”，Bostrom 更想问的是：“什么样的过滤器能公平到这种程度？”

如果我们真的是宇宙中唯一的文明，那么在我们死去的那一天，第一条岔路就会成立：处于我们这个阶段的文明中，会有非常高的比例在成熟之前灭绝，因为这个比例就是我们自己。真正的难点在于文明数量很多的情形，而流行的宇宙学现在把这种情形当作默认设定。这也是为什么局部的灾难还不够。你必须假设，几乎所有其他智慧物种也会以同样的方式陷落，无论它们处在哪里、是怎样造出来的。Bostrom 关于生存风险的其他著作针对的是我们人类。模拟论证的第一条岔路针对的则是所有文明。

第二条命题是一个趋同假说：许多文明都能达到成熟，而且这些文明全都选择不运行这些模拟——一百万个文明里，可能连一个都不会去做。“失去兴趣”听上去像是厌倦。Fridman 列出了更难的版本：这件事可能极其困难，可能在伦理上被禁止，也可能意味着现实结构的一次改变。Bostrom 排除了单纯的困难。在这个论证里，成熟本身就意味着，只用极少的资源就能创造出许多模拟。这不会是一场关于要不要长期拿出一半 GDP 来跑一次模拟的争论。如果在数百万年里的任何时候，一个文明中哪怕只有一小部分人想这么做，就会有数百万个模拟。所以第二条岔路需要一个非常强、并且被所有人共享的理由来阻止这件事。

Bostrom 所说的祖先模拟，并不是带着化身、只有一小段脚本的电子游戏非玩家角色。它包含的是类似我们认为曾经生活在地球上的那些人，其大脑的模拟粒度足够细，使他们拥有与我们相同的主观体验。谈话后面，他又回到了为什么这条岔路最模糊的问题上。在他看来，通往成熟的这一跃迁完全有可能彻底改变一个文明在优化什么。这一跃迁几乎肯定要借助机器超级智能，而且是在有人能大规模制造祖先模拟之前。

Fridman 听到的还是“厌倦”。Bostrom 的标准比情绪高得多。伦理上的拒绝可以起作用，但一旦文明已经成熟，困难就起不了作用：模拟会变得很便宜。因此，第二条岔路讲的是文明已经有能力做这件事之后的价值观与动机，与途中的工程失败无关。这也是为什么他后来把这一选项当作我们理解得最少的那一个。从我们现在的角度看，运行祖先模拟像是一部分人会自由选择去做的事。而从成熟文明的角度看，它可能显得是必须去做的，也可能显得显然碰不得。

这个论证暗中引入了一个心灵哲学的前提：你可以在计算机里创造出有意识的心智，而重要的是计算的结构，部件是不是有机神经元并不重要。如果有一种计算，细致到神经元层面都与人类大脑相同，包括 1000 亿个神经元，以相同的方式连接，具有相同的突触权重，产生相同的行为，Bostrom 认为它就是有意识的。能否用更少的细节生成意识，是一个悬而未决的问题。一个只会做 1 加 1 的循环大概不是有意识的。一个具有全局工作空间、注意力和自我表征的系统，则可能是。比完整的人脑少到什么程度仍然算数，他说自己并不知道。

Fridman 问，是必须模拟整个环境，还是只模拟大脑。当前的 VR 已经回答了其中一部分：你并不需要时时刻刻模拟每一个细节。场景可以程序化生成，并在进入玩家视野时再渲染。如果我们的环境是被模拟的，那么进入视野的部分可以用高分辨率渲染，而其余部分，包括 Bostrom 正对着说话的那支麦克风上的每一个原子，只以粗略的表示形式存在。Fridman 想问的是工程问题：要构建一个足够沉浸的现实，让你不想离开，或者察觉不到自己身处虚拟世界，难度有多大？Bostrom 指出，这是两道不同的门槛。

《Pong》和《魔兽世界》能让人沉迷数月，却不会让人对现实产生错觉。要想在里面度过一生，并借此改变“现实”的含义，门槛要高得多，而且每个人的态度也会不同。有些人可能会拒绝一个完美的虚拟世界。严格说来，建造祖先模拟并不一定需要超级智能；但如果我们确实身处模拟之中，Bostrom 认为，它很可能是由一个已经掌握这项技术的文明建造的。要在大脑分辨率上模拟人类历史，所需的技术非常先进，很可能是机器超级智能，或者对生物大脑的生物增强，先一步实现了。

Robert Nozick 的思想实验请你走进一台由未来神经科学家造出的机器，它可以在你余生中给你任何你想要的体验：伟大的艺术家，伟大的情人，美好的一生，持续的快乐。你与现实的其他部分断开，泡在一个营养液槽里。Nozick 认为，大多数人会拒绝永久地“退出”，哪怕他们可能会在度假时去上一会儿。他用这种拒绝去反驳那些认为价值仅仅是体验函数的理论。在这台机器里你可以拥有任何体验，但许多人会说其中并没有多少价值。因此，价值取决于体验之外的某种东西。

Bostrom 的一个敏锐观察是，这个结果里有多少来自现状效应。人们可能不愿意放弃控制、接上机器。换个说法：告诉他们，至今为止的一切都只是一场梦，他们可以断开连接，进入一个他们一无所知的真实世界；或者告诉他们，其实他们是秘鲁一个种花生的农夫。这样一来，很多人可能反而更愿意过自己熟悉的生活，比如像 Lex Fridman 那样做播客。我们真正在乎的，可能是项目、关系，以及能够延续下去的自我认同。营养液槽还是土地，秘鲁还是计算机，比起连续性，可能都没那么重要。Fridman 说，他会选择跳去秘鲁，尤其是在 VR 越来越逼真的时候。Bostrom 提醒他，在这个实验里，秘鲁的农场才是真正的现实世界，它并不是另一个虚拟世界。

Fridman 接着把“他人”的问题推得更尖锐。假设你在机器里的妻子有恐惧，也有希望，你拔掉连接、再接回去时，她仍然过着自己的生活。她是真实的吗？Bostrom 说，这取决于实现方式。如果她只是墙上的一张静态照片，撕掉它不会伤害任何人。如果她是在神经细节层面实现的，是一个完整的数字心智，具有与你相同的行为模式，那她很可能是一个有意识的人，而你在机器里做的事，就会对那个心智的感受产生真实的后果。他进一步说，并不明显的是，你能不能造出一台能提供正常人生的体验机，包括与他人的丰富互动，却不同时实现那些“他人”。一句打招呼可以装出来。但持续数天、可以被反复追问的开放对话，可能只能通过创造第二个意识来实现。这一点，他同样留作悬而未决的问题。

Fridman 讲了一个心理学实验：他找来一些移动机器人平台，让它们发出尖叫或痛苦的呻吟，结果很快就觉得它们看上去像是有意识的。他的内省告诉他，意识比智能更容易伪造。痛苦、伤痛或者对存在的疑问这类特征，似乎就足以骗过人的社交大脑，让人把互动当成真实的。Bostrom 则更谨慎。如果你不去深入追问，一场令人满意的聊天，未必需要你相信对方是有意识的。但如果你确实在意，那么伪造的难易程度就成了问题。如果外表可以这么廉价地伪造，也许意识比我们想象的更为普遍，它只需要基本的意向性，而不必是一个拥有 1000 亿个神经元的大脑。

在外表与现实分离的地方，你可以制造出一个心智的样子，而那里并没有另一个心智。Bostrom 对这些界线保持不置可否的态度。有一点对模拟论证很关键：一个虚拟模型要多逼真，模拟中的生物才会察觉到哪里不对？不妨想想我们自己那颗大约 1.4 公斤重的大脑，在夜里会怎样。梦境是沉浸式的，人往往意识不到自己在做梦。如果这团不起眼的神经组织都能生成一个看起来相当真实的虚拟现实，那么一个拥有行星级计算机、经过漫长岁月优化的超级智能文明，要为你构建一个逼真的环境，该会容易多少？

这种直觉背后，是一个主张：大脑并不是宇宙所能造出的东西的天花板。Fridman 提出了相反的看法：也许正是认知上的约束使智能成为可能，因此更强大的计算机反而不太可能变成超级智能。Bostrom 不以为然。单是速度，就是智能的一个维度，而且有充分证据表明，在这个宇宙里，计算机完全可以比人脑快得多，也许快一百万倍，这就是一种速度超级智能。质的超级智能更难用严密的证明来论证。但看看动物与人之间的差别，以及爱因斯坦与普通人之间的差别，就能看出它不只是快 20% 那么简单。发明广义相对论，可不是多花一点时间做一份稍长的作业。

Fridman 想让他排个序。Bostrom 的想法是否已经转向把三种情形都视为同等可能？Bostrom 说，平均分配未必是最好的赋值，而且他过去一直把这个问题搁置。任何一个概率的变动，都会牵动另外两个，因为它们加起来必须等于一。如果在我们这个阶段几乎没有文明能走到成熟，这就是一个强有力的理由，让人觉得我们自己也很可能会失败。反过来看：随着我们越来越接近成熟，剩下可以让我们灭绝的路程就越来越短，于是第一条岔路看起来就越来越不可能，另外两条的概率则随之上升。这种变化不一定是单调的。一种会制造新威胁的新技术，可能把趋势拉向相反的方向，前提是这种威胁能够均匀地影响各个文明。

在我们知之甚少的情况下，给这件事标上数字，究竟合不合理？我们不知道模拟有多难构建，不知道虚拟世界会怎样改变社会，也不知道万物理论会对深空探索产生什么影响。Bostrom 认为，和大多数宏大问题一样，剩下的大量不确定性必须被承认。我们寿命短、大脑小、认知有限，却能弄明白现在这么多，本身就很了不起。Fridman 描述了这个论证容易引发的一种思维上的捷径：第一和第二条岔路“感觉”起来都不太可能，于是思维就滑向“我们大概率是被模拟的”。这个结论是不是走错了地方？Bostrom 说，未必。不过，关于技术成熟文明动机的第二种选项，是我们理解得最少的一个。

Bostrom 在机器超级智能方面的研究，也不会自动为第一条岔路提供支持。如果某个为非人类目标优化的进程导致未来价值流失，那对我们是坏事。但如果我们是被机器超级智能杀死的，那台机器仍可能达到技术成熟。第一条岔路并不专属于人类：任何能抵达天花板的智能继承者，依然算数。如果继承者比我们更想做、或者更不想做祖先模拟，这种替代还可能与第二条岔路产生关联。初步来看，被 AI 杀死并不是第一条命题所需要的那种均匀过滤器。

真正承重的那片迷雾，关键在动机。到了成熟阶段，文明可能会如他所说，变得“多能”（multipotent）：能够选择自己的内部构造，并且有足够的洞察力去有意义地做出选择。我们现在对心理状态没有直接的控制。要感到快乐，你可能得先挣钱、订餐厅、吃饭。如果终极目标能更直接地被满足，许多工具性目标就会消失。认知增强，或者来自超级智能的建议，也会带来一些我们现在还看不见的考量。今天看起来是在 X、Y、Z 之间自由挑选，到那时可能就会显得只有 X 才是显然的选择，或者显然是非 X。他还补充说，个人影响力最大的时刻，可能出现在更早的阶段：那时轨迹尚未定型，人口较少，间接影响仍在层层扩散。

假设第三条岔路为真。那么，把整个世界直到时间尽头的人都算上，拥有与我们相同体验的模拟中的人，将会多于非模拟中的人。要说“我们很可能是被模拟的”，还需要多走一步。这一步是关于此时此刻这个人的指示性论断。Bostrom 把这一步称为朴素无差别原则：当你面对两组观察者，其中一组大得多，而内部证据又无法告诉你自己属于哪一组时，就按两组的大小分配概率。与你体验相同的模拟人数是十倍，就意味着你属于其中之一的可能性是十倍。你并不需要无限的时间，只需要某个星球上的某个文明运行祖先模拟所花的时间，而且这些起点可能错落分布在不同的宇宙纪元之中。

末日论证最初由物理学家 Brandon Carter 注意到，后经哲学家 John Leslie 发展，它认为我们系统性地低估了人类不久就会灭绝的概率。Bostrom 指出，多数人都觉得它有问题，却说不清究竟哪里有问题；他自己的看法也没有定论。它的瓮模型很清楚。两只一模一样的瓮：一只装着十个编号的球，另一只装着一百万个。你随机摸出一个球，摸到的是七号。这强烈地表明，你更可能是在那只十球的瓮里。把同样的推理用在人类身上：考虑两种假设，人类总数是 2000 亿，还是 200 万亿。而你大约是第 1000 亿个人。在总数较小的情形下，你就是中段一个再普通不过的人；在总数较大的情形下，你出现的时间早得离谱。于是，你应该把“末日很快到来”的概率上调。这个论证需要自我抽样假设（self-sampling assumption）：把自己当作一个随机样本，即从所有将会存在过的人中随机抽取的一个，哪怕你知道自己大约是第 1000 亿个人，生活在 2020 年。

拒绝这一假设很诱人，因为从这么弱的前提里，居然推出了如此强的结论。麻烦在于，普通的宇宙学推断似乎也需要类似的自我抽样。在一个足够大的多元宇宙里，所有可能的人类观测都会被做出来，其中包括幻觉，以及对“错误”常数的侥幸测量。可我们仍然希望说，大多数观察者看到的是真实的数值，所以我们对宇宙微波背景或精细结构常数的测量，才算作证据。如果没有人类选择假设，这种推断就站不住。这项方法论工作，就是要说清楚，什么时候基于观测选择的推理是合理的。回到模拟问题上，朴素无差别原则要弱得多。在极端情形下，即所有拥有你这些体验的人都是被模拟的，你无需任何概率推算，就能直接推出自己是被模拟的。当这个比例从 90% 变到 99.9% 时，你赋予的概率应当平滑地趋近于 1，而不会突然跳变。你完全可以认为末日论证站不住脚，同时仍然接受模拟论证所需的那个温和得多的步骤。

要是模拟者所在层级的物理规律和我们观测到的相近，那么没有哪个文明能做无限的运算。宇宙学常数为正，意味着宇宙正在加速扩张，所以哪怕以光速出发，能够抵达的也只是一团有限大小的物质。信息被抹除时，损耗存在一个最低值；质子或许会衰变；系统还会向外辐射引力波。最后终将迎来热寂。因此，模拟的规模是有限的，既谈不上零，也谈不上无穷。模拟可以层层嵌套，每新生一层可支配的资源都更少，而身处其中的观察者无从确定自己位于第几层。不过，每一层嵌套的运算，归根结底都要由 Bostrom 所说的底层现实里的计算机来买单。底层的算力有限，这座塔就盖不了多高。假如每往上一层都要额外支付大量开销，多数观察者很可能就待在靠下的位置。

Fridman 问到马斯克，他是这个想法最大的推广者之一。Bostrom 的第一反应有些轻描淡写：如果这个论证可信，那么无论哪条岔路为真，它都在告诉我们关于世界的一件非常重要的事，可以说是摆在面前最根本的发现之一。对于马斯克这样的人，还有一层额外的理由。如果模拟者不会重演整部历史，而只是挑选其中的一部分，那么他们可能更偏好不寻常、有趣或影响深远的人生。从秘鲁的农夫到马斯克，你越靠近马斯克，这份额外的加成就越高。模拟之外的东西，与模拟之内的东西纠缠在一起。关于创造者的看法，可以帮你预测这是哪一种模拟，以及如果有“之后”的话，之后会发生什么。模拟内部的生物或许能理解创造者的某些方面，却可能错过那些会改变其余一切意义的方面。

Bostrom 先用从狗到人的理解阶梯打了个比方，然后用一个类比解释了他那个著名的拒绝表态。假设你必须猜一个十位数是奇数还是偶数。如果是偶数，人生最好的事就是往北走；如果是奇数，就往南走。科学和哲学已经给了我们前七位数字，我们掌握的信息很多。但最后三位仍然一无所知，因此，往北还是往南，我们依然毫无头绪。他认为这就是我们的处境。我们对宇宙已经了解很多，也许已经超过了完整图景的一半，但缺失的那部分可能会彻底改变结论，包括整个优先级的安排。不确定性在问题表面上分布得并不均匀，它集中在几个决定地图走向的关键点上。

将近一小时四十分钟之后，Fridman 转向了超级智能。Bostrom 不会在定义上纠缠。智能就是常识意义上的一组能力：解决复杂问题、从经验中学习、规划、推理。意识不包含在这个定义里；一个系统可以相当聪明，却没有意识。超级智能则是这些能力的大幅增强版：学得更快，推理更好，在各种艰难环境中实现目标的效率也更高。它不需要人类的身体，数字形态就可以。计算机和存储器都是物理的，但即使执行器有限，影响世界的能力依然可以非常强。他认为，在屏幕上打字就已经绰绰有余。

他想把正面的可能性重新摆上桌面。2014 年出版的《超级智能》聚焦于可能出什么问题，因为他觉得人们忽视了 AI 成功之后会发生什么，也需要一张更细致的“陷阱地图”。此后，这个问题获得了更广泛的认可，也出现了专门做对齐（alignment）研究的团队。他怀疑，如今公共讨论中谈负面可能性的，比谈正面可能性的更多。他还希望把问题干净利落地分开。近期的担忧，比如算法歧视、自动驾驶汽车和无人机，是正当的。书中谈到的长期问题同样正当。把它们混在一起，就只能得到一场糟糕的对话；分开谈，才能有两场好的对话。他的判断是：近期话题被过度炒作，长期话题则被低估。

被问到长期的正面图景时，他觉得列出来几乎太显而易见了。世界上有很多问题，很难想出哪一个是友好且对齐的超级智能帮不上忙的：健康、经济体系、投资、贸易、外交政策。并没有某个单一的“杀手级应用”。通用人工智能（AGI）是终极的通用技术。凡是人类的创造力和解决问题的能力有用的地方，它都能用上，而这几乎无处不在。它会让我们对自然有更大的控制力。但它不会自动解决人类之间冲突所带来的问题，那些问题从根本上讲是政治性的。其中一些会随着资源增加而消失；另一些仍然需要协调，而单靠技术能力的提升，并不会奇迹般地带来这种协调。

会不会出现智能爆炸（intelligence explosion），即一次相变，而不是缓慢的磨合？Bostrom 不知道它会有多爆炸性。大致在人类核心认知能力的水平附近，某个时候 AI 的进展会变得极快，这似乎相当可能。不过，这个“人类水平”的说法，细看时也开始站不住。和其他研究者相比，他给爆炸出现的概率会比平均水平更高。一旦进入那个模糊的人类水平区间，前方是否还有天花板等着？就他能做的判断而言，天花板恰好卡在人类水平或其附近，这种可能性非常小。创造出超越我们的东西，既令人恐惧，也令人兴奋。Fridman 听到的是“失去控制”。Bostrom 不认为这是必然的推论。人们正在努力让解决问题的能力更高，同时保持与人类价值观对齐。控制权并不是注定会丢掉的东西。

Fridman 把这份不安换成了另一种说法：人类将不再是地球上最聪明的东西。Bostrom 的回应是，如果宇宙足够大，那么已经有很多东西比我们聪明得多了，比如拥有超级智能的其他文明，或者脑袋像沙滩球一样大的生物。离我们更近的地方，我们其实早已生活在比任何个人都更庞大的系统之中。把科学共同体看作一个心智，它的规模远超任何一位科学家。谷歌、推特和脸书的推荐系统，已经是基础结构的一部分。搜索引擎在检索文字和图像方面超越人类，在大量其他任务上却毫无能力，这是一次超级智能的尖峰，然后就什么都没有了。Fridman 觉得 AlphaZero 比深蓝（Deep Blue）聪明得多。两者都下棋，但 AlphaZero 能进入一个它并非专门为之设计的新领域，自己摸索出门道，并且变得很强，原则上，甚至能在国际象棋上击败深蓝。Bostrom 同意，更通用的学习能力，才让一个系统开始“显得”聪明。

乌托邦会是什么样子？Bostrom 没有所有答案，也许永远也不会有。如果这种情景到来，物质约束会急剧放宽，我们能做的事情的设计空间，包括对我们自身的改造，会比人类历史上的任何时候都更大。由此有两点。其一，我们需要从第一性原理出发，重新思考我们珍视什么：意义、幸福与成就感，而不只是多加一个厨房机器人。其二，我们应当尽量同时照顾不止一套价值体系。一个泡在缸里、只追求享乐的大脑，快乐得分是 100，美与成就的得分却是 0，这种直觉是错的。在相当大但并非无限的程度上，你也许能在几个标准上同时拿到各自最佳值的 98%。先努力在所有标准上都做得很好；然后再进行那场艰难的讨论，决定哪一项可以只拿 97 分。幸福与意义是可以分开的：垃圾食品式的重播能让人开心却没有意义，而一项代价高昂却造福许多人的成就，可能意义重大，却谈不上有趣。在低维空间里，价值看起来彼此纠缠；增加维度之后，其中许多就会相互分开。极度富足，正是某些约束得以解除的独特背景。Bostrom 写道，对于生存风险，试错是行不通的，因为人们没有机会从错误中学习。你需要的是远见，还需要愿意采取预防行动，并承担其中的道德和经济代价。