NASA 要是在火星上一无所获，Max Tegmark 反而会欢呼

Lex Fridman 开头问了一个简单的问题，Tegmark 则把它当成一道数学题来回答。Fridman 在公开讲座上常请观众举手：你认为别处有智慧生命吗？几乎所有人都举了手，理由是星系数量太多。Tegmark 是少数没举手的人。物理学家说“宇宙”，通常只指一个球形区域：大爆炸以来，光在 138 亿年里有时间传到我们这里，我们能看到的也只有这么多。

这片球形区域里，仅银河系就有超过 10 亿颗类地行星，其中不少比地球古老数十亿年。如果一颗行星上出现智慧生命的概率并不小，我们早就该被发现，或者早就该发现别人了。除了 UFO 信徒，几乎没有证据表明有超级文明来过这里，这就是费米悖论（Fermi paradox）。一颗行星上生命出现的概率，是一个我们并不知道的数字：它可能是 10 的负 10 次方，也可能是 10 的负 70 次方。如果把每个数量级都同等看待，离我们最近的邻居可能在 10 的 16 次方米之外，也可能在 10 的 70 次方米之外。

我们已经知道，近处没有他们：如果有，他们早就被发现了，或者我们早就注意到了他们的工程痕迹。超过约 10 的 26 次方米，就已经在可观测宇宙之外了。所以他的判断是：在这片可观测的区域里，我们可能是唯一发展出先进技术的生命。这就让我们有责任不把事情搞砸。有人想当然地认为，即便意外爆发核战争也没关系，因为总会有《星际迷航》式的情节来救场，这其实是一种虚假的安全感。他认为，更好的态度是心存感激，珍惜这个机会，尽力做好，因为这一切很可能就要靠我们自己了。

从没有生命，到能造出技术的生命，再到能殖民宇宙，中间一定有某个重大障碍，也就是大过滤器（Great Filter）。它要么在我们身后，要么在我们前方。他希望它在身后。每次 NASA 报告在火星上没找到生命，他都特别兴奋，因为这说明最难的那一步可能比较基础，比如组装出第一个核糖体。如果是这样，我们就算过关了，未来主要受限于想象力。另一种故事就没那么激动人心了：文明一旦掌握先进技术，不出一百年，就会卷进某场愚蠢的争斗，然后一切就这样烟消云散。他说，那就太让人沮丧了。

Tegmark 十几岁时就迷上了科学的两大谜题：外面的宇宙，以及内在的宇宙。在宇宙学上研究了 25 年后，他现在允许自己研究后者。他说，很多人仍然把智能当成只能存在于生物体中的神秘之物，因此把通用人工智能的讨论当成科幻。但从物理学家的角度看，图景完全不同。

他是一团夸克和电子，按某种模式运动，以某种方式处理信息。桌上的水瓶同样是一团夸克和电子。他并不会因为由另一种夸克组成，就比水瓶聪明。上夸克和下夸克，完全是同一种。这里面没有什么秘方，区别在于信息处理的模式。物理定律并不禁止我们造出极其聪明的技术，帮我们解开仅凭自己无法解开的谜题。我们只看到了智能冰山的一角。

他提出过一个假想的物质状态，叫感知物质（perceptronium）。用物理学的语言来说，它要回答的问题是：任意一个物理系统，粒子和信息要怎样运作，才会产生意识。人们之所以低估了这方面的进展空间，是因为总以为我们缺了某种成分，比如某种意识粒子之类。他不认为我们缺少什么。意识，也就是颜色、声音、情绪这些主观体验，位于更高的层次，存在于模式之中。他很反感碳基沙文主义，也就是那种认为只有由碳原子构成才能有智能或意识的观点。

有些信息处理是有意识的，比如我们自身。大量信息处理则没有意识。仅视觉系统每秒就输入约 10 兆比特的信息，而你意识不到自己的心跳调节，也意识不到大脑的大部分运作。让别人读一行字，他看过去，随即就知道字里写了什么，却察觉不到计算是怎样完成的。意识就像那位最后才收到一封邮件、拿到结论的 CEO。是什么造成了这种差异？在他看来，这是一个伟大的科学之谜。他认为，也许有一天有人能写出方程，说明信息处理要满足什么条件才会有意识。他在麻省理工学院的实验室也做了一些相关工作。他还认为这个问题很紧迫。

一位急诊室医生面对没有反应的病人，会希望 CT 旁边有一台意识扫描仪，好分辨闭锁综合征和真正的昏迷。以后如果我们造出能与我们对话的家用机器人，也会想知道它们是否有体验，还是只是僵尸。Fridman 倾向于只要机器表现出意识就够了，但难点在于，表现和本体是否会分开。Tegmark 认为，要造出通用人工智能，不必先解决意识的难题；但如果希望结果是好的，我们最好先把它解决。

他把这个领域分成三派。Daniel Dennett 一派认为，意识难题站不住脚，因为意识就是智能：行为上像有意识的东西就是有意识的，人也一样。第二派包括他认识的许多顶尖研究者，他们同样认为意识难题站不住脚，但理由是机器永远不会有意识，它们永远是僵尸，所以人们不必为怎么对待它们而内疚。第三派包括 Giulio Tononi、Christof Koch 和 Tegmark 本人，认为有些信息处理是有意识的，有些则没有，所以要找出能区分两者的方程。在他看来，前两派都在偷懒。“意识”这个词几乎成了禁忌。这是一个科学问题，能做出预测的理论是可以检验的。

他举了个尖锐的例子。马萨诸塞州总医院就在河对岸。假设你去那里做手术，医生给你用了肌肉松弛剂，你会全程剧痛却动弹不得，术后还会给你服用一种能抹掉记忆的药。你能接受吗？从行为上看，这和全身麻醉没有区别，几乎没有人会选这种方式。这个思想实验之所以刺痛人，是因为即使不改变任何可观察的行为，体验本身也有价值。人类为自己辩护时历史很糟糕：煮龙虾，理由是它们没法回答；奴役他人；认为女性没有灵魂。他一听到有人把“机器不可能有体验”当作公理，就会紧张。

通用人工智能需要身体吗？他说，体验本身不需要。物理环境对于学习那些对人类重要的现实事务很有帮助，但学会之后，体验就不再依赖环境。想想做梦：闭着眼睛，没有感官输入，也没有行为，却依然有体验。梦里看到的东西来自大脑中的信息处理，与眼睛无关。自我保存的本能是另一回事，它更带有拟人化的色彩。达尔文式的进化给了我们这些本能，因为缺少相关基因的个体在基因库中被淘汰了。

可以设计出的心智空间，远比能靠进化产生的那部分大得多。通用人工智能的心智不必有自我保存的本能，也不必那么个人主义。想象一下，每 5 分钟备份一次自己：如果飞机快要坠毁，你只会丢掉上一次云端备份之后的 5 分钟体验，这没那么严重。如果体验能像在硅基上那样在不同心智之间复制，我们可能会更像一种蜂群思维，而孤立的个体反倒显得奇怪。我们不应想当然地认为，通用人工智能会带着争强好胜的雄性本能。

这一转变来自 Steve Omohundro、Nick Bostrom 等人的研究。我们造机器时，通常会给它一个目标：赢下这盘棋，安全驾驶这辆车，做一顿意大利晚餐。目标一旦设定，尤其是开放式的目标，又遇上非常聪明的机器，它就会把目标拆成子目标。其中几乎总会包括自我保存，因为如果它在过程中坏掉或死掉，就无法完成目标。一个被派去买菜的机器人，半路被抢了，它就有动机自卫或逃跑，它想把晚饭做完，本身未必怕死。如果给它任何雄心勃勃的目标，它还可能想要更多资源，因为资源有助于完成目标。这些意料之外的子目标，是通用人工智能安全担忧的一大来源。

Fridman 问，对有限死亡的恐惧，对智能或意识是否必要。Tegmark 不愿在词义确定之前作答：他参加过的专家小组，连智能是什么都无法达成一致。他自己的定义很简单：完成复杂目标的能力。他喜欢这个定义的宽泛，因为他不想当碳基沙文主义者。按这个定义，恐惧死亡并非必需。AlphaGo 和 AlphaZero 相当聪明，但他不认为 AlphaZero 会害怕被关机，因为它甚至不理解这个概念。有些植物即便有一点体验，大概也不太怕死。而热情和“精彩的人生”，可能是另一回事：有限性或许正是促使人活出精彩的原因。宇宙学的好消息是，一切大概最终都是有限的：大冷寂、大坍缩、大撕裂、大断裂、死亡泡……但那都要在十亿年以后。因此，为了保险起见，我们应当像有限的存在那样建设文明，同时珍惜远比祖先所想象的更多的时间。

意识不在这个定义之内。智能是一个谱系，目标有很多种：下棋、围棋、驾驶、投资、写诗。它无法用一个总分来衡量。机器已经在狭窄的任务上胜过我们：做大数乘法、记忆数据库、下棋、下围棋，很快还有驾驶。但至今没有哪台机器能在通用智能上赶上一个人类孩子。通用人工智能也是 Fridman 那门课的名字，是这个领域自 1960 年代以来的老圣杯，它的目标是造出一台在所有事情上都能和我们一样好的机器。如果真的实现了，Tegmark 认为，那将是地球生命历史上最大的转折。

这种改变不会等到机器样样都比我们强的那一刻才到来。第一个大变化，是机器在我们做的大部分工作上表现更好，这会大幅减少对人类劳动力的需求。更大的变化，是机器在 AI 本身的研发上超过我们。如今，研究的时间尺度受限于人类的研发周期，通常要好几年才能推出下一版软件。一旦谷歌能用 4 万个同等水平的软件替代 4 万名工程师，这个限制就没有了。未来 AI 乃至所有科学和技术的进展速度，都将由机器来推动。这个简单的道理，正是“智能爆炸”或“奇点”争论的根源。I.J. Good 在 1950 年代清楚地表述过这一点，图灵等人更早就思考过这个问题。

通常说的人类水平，是指在所有认知任务上都比我们强。另一个标准稍低一些：当机器在 AI 编程和通用学习上胜过我们，那么只要它们愿意，通过学习就能在任何事情上超过我们。Fridman 喜欢《生命3.0》里的那张图：一片上涨的海水，淹没一座又一座山峰。山峰是人类仍占优势的任务，海水则是机器的能力。

问起最喜欢的方程，Tegmark 说是薛定谔方程：量子力学的总钥匙，通往原子和分子的微观世界。Fridman 接着提到 Andrew Wiles。Wiles 在猜想提出 358 年后证明了费马大定理。他说，那一刻各个部分连接起来，美得无法形容，简单到他无法理解自己怎么会没看见。他难以置信地盯着纸看了 20 分钟，在系里走来走去，还一次次回到桌前，确认证明还在不在。那是他工作生涯中最重要的时刻，此后做的任何事都不会再有那么大的分量。Tegmark 自己也有过规模小得多的类似时刻，其中包括一些发现，后来他才意识到已经有名人先发表了。迟来的功劳，并没有削弱当时的那份激动。

机器要有那样的时刻，需要什么？这里有两个问题，而不只一个。智能问题是：能否造出一台机器，独立推导出这种水平的证明？能做到的时候，我们可能已经离通用人工智能很近了。意识问题是：这样的机器是否有任何体验，还是只是僵尸；它是否也有某种类似人类的感受，知道这一成就是崇高而有深刻意义的。他希望，如果我们造出的机器是我们的同伴或后代，它们也能拥有这种对生命的崇高体会。

他最担心的是另一部电影。遥远的未来，宇宙里充满后生物时代的生命，做着看上去很酷的事，最后几个人类带着对后代的骄傲，慢慢消失了。而我们从未解决意识问题，也始终没有意识到，那些生命都是僵尸，和录音机一样毫无觉知。整出戏就成了对着空座位的表演，那将是终极的僵尸启示录。在这个框架下，创造力就是智能的一个面向：一次意外的跃迁，一种没人想到过的联想，对神经网络来说比对逻辑门机器更自然。人类有一种虚荣的毛病，总想把机器刚学会的东西说得微不足道。历史上的“我们更优越”，比如纳粹德国、虐待动物、奴隶制，记录都很糟糕。他不希望我们把自我价值建立在关于智力优越的虚假说法上。

在 Tegmark 看来，意义应当来自我们拥有的体验。即使别人比他聪明，他也能有很有意义的体验。在麻省理工学院的教职会议上，他和诺贝尔奖得主坐在一起，同样很享受；能和在许多方面胜过自己的人交流，他觉得荣幸。我们同样可以这样对待聪明的机器：它们是可以聊得很开心的同伴，在某些话题上很聪明，是那种可以一起喝几杯的伙伴。只盯着统治的人，就错过了这种可能。

再举一个朴素的例子：他和 Fridman 两岁的时候，父母比他们聪明得多，但一切都还好，因为父母的目标和孩子的目标是一致的。他说，如果我们希望人类仍留在这幅图景里，首先要解决的问题就是价值对齐。好莱坞训练人们去担心机器变坏。人们应当担心的是能力，恶意倒在其次。智能的定义是完成目标的能力，这意味着更聪明的一方会赢。一个人类，加上一个目标不同、却更聪明的通用人工智能，猜猜谁能如愿？

他刚读到一篇文章，讲几年前灭绝的一种犀牛，照片里是一只母犀牛带着幼崽，很可爱。我们为什么会让它灭绝？原因并不在于我们是憎恨犀牛的人。我们的目标和犀牛的目标不一致，而我们比它们聪明，所以对犀牛来说结局很糟。如果将来我们造出通用人工智能，在放出任何东西之前，都必须确保它学会理解我们的目标、接受这些目标，并把它们保留下去。把这些价值观明确下来，本身就是一个难题。美国宪法是历史上的一次尝试：它在一些方面站住了脚，在另一些方面却彻底失败。

价值对齐之所以难，有两个相互独立的原因。一是技术问题：怎样让机器理解我们的目标、接受这些目标，并把它们保留下来。二是哲学问题：到底是谁的价值观？这个星球上并没有什么共识。应由什么机制来汇总和妥协？这第二场讨论，不能只交给像他这样的技术宅。如果我们拒绝谈，决定就会落到某家科技公司里那一小群人手中。他们有代表性吗？仅仅因为擅长编程，他们就有资格代表人类未来的幸福吗？他宁愿进行一场真正包容的对话。

接下来是可行性的反对意见。他说，没有比拒绝讨论、拒绝尝试更能保证失败的做法了。另一个糟糕的策略，是长时间讨论，等待完全的共识，然后才把结果装进机器。不要让完美成为良好的敌人。先从几乎所有人都认同的幼儿园伦理开始，现在就把它放进机器。我们甚至连这一步都还没做到。

任何人造客机，都希望它在任何情况下都不会撞进建筑物。9·11 劫机者恰恰做到了。更令人难堪的是，抑郁的德国之翼航空副驾驶 Andreas Lubitz 把一架载满乘客的客机撞进了阿尔卑斯山，造成一百多人死亡。他的手法是让自动驾驶仪把高度改成 100 米。电脑里有 GPS 地图，它照做了。问题并不在于我们对价值观有分歧，而在于我们懒得把它写进机器。飞机本来就有计算机，它们完全可以拒绝执行，进入安全模式，锁住驾驶舱，飞往最近的机场。汽车也是同样的道理。卡车和货车冲向行人的恐怖袭击已经发生过不少次，把“不要这么做”直接写进系统，并不是什么荒唐的想法。大多数想伤害别人的人，缺少绕过它的专业能力。如果汽车就是不肯照做，这就有帮助。先从这里开始，养成习惯，不断追问还应该加上什么，把它当作一个渐进的过程。

Fridman 抛出一个有点像 Stephen Wolfram 会有的想法：也许元胞自动机里已经有了通用人工智能，只是我们没法和它对话。Tegmark 不同意。他认为，无论是哪一种元胞自动机，还是互联网本身，都没有通用人工智能。等它真正出现时，我们一定会注意到，而且很可能事先就有迹象，动静会非常大。从某种意义上说，硬件算力已经在那里了：宇宙时时刻刻都在计算查尔斯河上每一道波纹、每一个空气分子的下一个状态。一位同事指出，严格说来，甚至可以把宇宙看作一台量子计算机。生命和我们造出的计算机，只是把大自然浪费在另一片无人观看的海浪上的算力，引导过来加以利用。这并不能让那瓶水变成通用人工智能。通用人工智能还得写出 Tegmark 这本书，还得完成这次访谈。这不是沟通的问题，水瓶做不到这些。

沟通依然重要。Tegmark 的部分工作是教学，他认识一些非常聪明的教授，却很难把话讲清楚，因为要让别人听懂，你得在脑子里足够好地模拟对方的心智，才知道该说什么。眼下让人沮丧的是这样一台电脑：它做出了癌症诊断，你问它为什么要做手术，它却只回答说，它是在 5 TB 的数据上训练出来的。这是诊断结果，滴，就这样。这样的回答没法让人安心。自然语言处理显然很重要，但它底下还压着更根本的问题。

有些 AlphaZero 的对局令人叹为观止，真的很美。问它是怎么走出那一步的，你只会得到一大堆数字表格，也就是定义网络的矩阵。盯到脸都发青，你也看不懂那一步。即便有一个语言层告诉你这步棋值 5.7 分，也帮不上什么忙。挑战是一整个谱系：把做出智能行为的计算，转化成同样智能、却更容易理解的东西。当我们让机器掌管电网、股票交易和武器系统时，就必须能够信任它们。信任来自理解，最好是定理，甚至是经计算机验证的证明，比如：这辆车在任何情况下都不会冲进对向车道。“训练了海量数据，从没出过事故”，这样的说法就没那么让人安心了。

眼下的例子是网络安全的糟糕状况：雅虎的 30 亿个账户被一并泄露，几乎每个美国人的信用卡都被牵涉其中。原因是，软件没有人完全理解，所以漏洞一直没被发现。AI 既可以用于进攻，比如黑客攻击，也可以用于防守，比如实现自动化验证，用不同的方式构建系统，让人真正能够证明系统的某些性质。

Fridman 问起 Tegmark 的论文《为什么深度而廉价的学习效果这么好》。Tegmark 从这些成功中得出的一个教训是：大脑里几十种神经元，对智能来说大概并非必需。AlphaZero 内部只有一种神经元，是一个简单得近乎荒谬的数学对象，却已经足够。和物理学中的情形相同，决定波动形态的，是大量分子的集体行为，单个分子的具体细节影响有限。大脑之所以复杂得一团乱，是因为它进化出来时要能自我组装、自我修复、在进化上可以实现，而不只是聪明。他的直觉是，我们会先弄清楚怎么造出通用人工智能，然后才完全弄懂大脑，就像人类早在造出机械鸟之前就造出了飞机。一个世纪过去，我们依然不靠扑翅的机械鸟飞行，因为我们想出的办法更简单，也更适合我们的目的。

这篇论文源于一位物理学家的震惊：人工神经网络与物理学多年来研究的对象之间，存在紧密的数学联系，其中包括重整化群方程。接着是一个悖论。我们能把网络训练得很好，分辨猫的照片和狗的照片。可稍一琢磨就会觉得不可能。一百万像素，即使只有黑白两色，也有 2 的 100 万次方种可能的图像，远远多于宇宙中的原子数。要给每一张图像都标出它是狗的概率，这张表连 GPU 内部都存不下。可它确实有效。

这意味着，对于一个规模适中的网络，你能提出的几乎所有问题都无解。他们的发现是：在物理定律之下，我们真正关心的那部分问题，同样只占所有问题中极小的一部分，而令人惊讶的是，这两部分基本上是同一部分。你可以说，世界仿佛是为我们而造的。他更温和的解释是，进化给了我们这种结构，因为它非常适合大自然反复向祖先提出的那些问题。大脑存在的意义就是对未来做预测，一个连这些问题都解决不了的糟糕系统，是不会被留存下来的。深度还有一个结论：把一千个数相乘，几行普通代码就够了。而只有一层隐藏层的神经网络，需要 2 的 1000 次方个神经元，同样超过宇宙中的原子数。允许使用多层的话，四千个神经元就够了。

好莱坞喜欢在有人打造智能机器时提到“量子”这个词。Tegmark 则给它泼了点冷水。他认为，要造出通用人工智能，并不需要量子计算机，他怀疑你的大脑在任何有用的意义上都不是量子计算机。多年前他写过一篇关于退相干（decoherence）的论文，算的是：神经元所进行的量子计算，要多久才会被随机的环境噪声抹掉。答案约为 10 的负 21 次方秒。头脑里有一台量子计算机当然很酷，但在这样的时间尺度下，他不认为它能维持下来。

等将来有了更大的量子机器，它们或许能让机器学习做得比大脑更好。训练神经网络，本质上是一种搜索：有损失函数，有一大堆旋钮，还有一个高维景观，其最低点出了名地难找。量子力学在这类问题上出奇地擅长。一杯水的最低能量状态极难计算，可大自然只要把杯子冷却下来，就会自己算出结果。量子系统卡在局部最小值时，还能穿过势垒，即隧穿，这是当今机器学习系统没有的技巧。他的一个大胆猜测是：有一天我们或许能用量子计算机把神经网络训练得更好。它的作用是更好的优化器，用来训练神经网络，不用来承载思维。

AI 能坠入爱河，或者形成人类那样的联结吗？Tegmark 认为这些都有可能。研究者对通用人工智能何时到来的估计差异很大：Rodney Brooks 说要几百年，其他人则认为快得多；近期的一些调查显示，可能有一半的人认为是几十年之内。如果真的实现了，这些社会性能力就摆上了桌面。它们会不会出现，这个问题本身就问错了。我们不该花那么多时间追问未来会对我们做什么，仿佛我们只是可怜的旁观者。我们才是正在创造这个未来的人。要主动一些：问问自己想要什么样的未来，然后去创造它。他不想要一个极其乏味的僵尸式未来，只有机械的运转，没有激情、情感和体验。他宁愿把我们最珍视的人性，即主观体验、热情、灵感与爱，保留在我们所能建造的更高级的智能之中。宇宙并不会赋予我们意义，是我们赋予宇宙意义。

恐慌没有帮助，即使威胁是真实的。要记住好的一面：我们珍视的社会与文明，一切都是智能的产物。放大智能，无论是人类智能还是机器智能，我们或许就不必眼睁睁地失去所爱的人，死于那些被认为无法治愈的疾病。这是解决问题的理由，而不只是躲避悲观的理由。在讨论小组上，他注意到一个现象：企业的人说没什么好担心的，学界人士却表达了关切。Upton Sinclair 那句话至今仍然适用：当一个人的薪水取决于他不相信某件事时，要让他相信，就很难了。公司里也有不少人同样很担心。CEO 不愿公开表态，因为记者会在报道旁边配上《终结者》的画面。问题是真实的，但公共讨论已经被扭曲了。

学生来他办公室请教职业建议，他会问对方想去哪里。如果只能说“也许是癌症研究，也许是汽车”，他们就会像疑病症患者一样离开。如果眼里有火光，说“我想去那里”，你才能谈障碍。AI 也应如此。不要从风险开始，而要从我们真正可以追求的共同目标开始，包括在通用人工智能时代，我们希望“人”意味着什么，然后再掌舵。要造出增强人类的通用人工智能，让它赋能我们，不去压倒我们。哪天有人造出能打败他的机器人，他也不会停止打网球；人们至今仍在下棋、下围棋。如果政府愿意为无所事事发钱，那也可以多聘请一些教师和护士，这些工作能让人获得充实感。工作带来的，不只是收入。

Tegmark 说，科学史上最重要的一课是：我们总在低估。太阳系、银河系、星系团、宇宙，每一次我们都只是发现了更大事物中的一小部分。未来比我们的祖先所能梦想的有更多可能。想象一下，地球上除了马萨诸塞州的剑桥，别处都没有生命，而那里的生命只想待在剑桥，一周后就灭绝，尽管地球仍会继续存在。这就是我们在宇宙尺度上的心态。地球上的生命可以繁荣数十亿年，而不只是已经过去的 40 亿年。太阳变得过热时，他甚至能告诉你怎样搬动地球。其余的大部分，据我们所知，看起来都像撒哈拉沙漠。我们有机会帮助生命繁荣数十亿年。别再为边界该往左挪一英里还是往右挪一英里争吵了，抬起头来看看吧。这也是马斯克常被误解为悲观末日论者的原因。他关心安全，是因为他比几乎任何人都更清楚，如果我们在这里自我毁灭，会失去什么：不只是下一代，而是所有世代，以及外面的那些机会。没有更好的技术，人类迟早会被某颗小行星或超级火山带走，问题只在于什么时候。如果我们希望生命在整个宇宙中繁荣，AI 就是关键。Tegmark 认为，即使是有灵感的科幻，也低估了通用人工智能能带来的可能，包括前往其他星系的旅行。