人类不能指望关键时刻总有对的人出现

Lex Fridman 开场时提到，Tegmark 是这档播客的第一期嘉宾，此后物理学和 AI 两个领域都发生了很多事。Tegmark 是 MIT 的物理学家、AI 研究者，也是未来生命研究所（Future of Life Institute）的联合创始人，还著有《Life 3.0》。他想盘点 2020 年真正的突破（不是那些占满头条的新闻），并讨论这些突破对科学、对人类，以及对新的失效模式意味着什么。他对美国国家科学基金会（NSF）新设的一个中心尤其兴奋，那是人工智能与基本相互作用研究所，由 MIT 与邻近高校合作，为期五年，资金 2000 万美元。

大约五年前，他把自己在 MIT 的研究从物理转向了机器学习。他说，同事们很客气，但他们脸上的表情仿佛在问：Max 到底在搞什么？如今那种表情已经不见了。这家研究所的赌注是双向的：AI 可以帮物理学家把物理做得更好，物理学也可以帮 AI 变成人们真正值得信任的东西。硬件也是其中一部分。他的同事 Marin Soljačić 正在研究光学芯片，用光子取代电子来计算，据说能耗更低、速度更快。

Tegmark 认为，更深层的收获在于态度。AI 一直是一种工程文化：目标是让东西能用，人们却常常更在意把它们卖出去，证明它们永远靠得住反倒排在后面。不妨拿发射到空间站的火箭来对比。SpaceX 训练助推器，并没有先往左偏一点、再往右偏一点，指望碰巧对上。工程师用的是牛顿定律，以及对硬件的深刻理解。他的愿景是：每一个真正影响人们生活的机器学习系统，都要被理解到这种深度，这样人们信任它，靠的是它自己挣来的信任，用不着谁来推销。

这一年那些令人眼花缭乱的演示有一个共同点。波士顿动力的机器人会跳舞。AlphaFold 2 在蛋白质折叠问题上表现惊人。GPT-3 写出的英文，有时让 Tegmark 大为震撼。DeepMind 的 MuZero 在国际象棋、将棋、围棋和雅达利游戏中击败了人类，甚至没有人教它规则。它们都很强大，却没有一个被完全理解。他说，如果最坏的结果只是摔个跟头或者走错一步，这还能接受。但如果同样风格的系统开始驾驶汽车，或者运行核电站，就很难接受了。

好莱坞让人们习惯了担心机器变坏。Tegmark 说，自动化真正造成的伤害，来自人们对那些并没有被真正理解的系统过度信任。波音 737 MAX 那套并不复杂的自动控制系统害死了人，但系统本身并不邪恶。Knight Capital 上线了一套崭新的交易系统，结果在 44 分钟里每分钟亏损 1000 万美元，直到有人把它关掉。曾经夺走工人性命的工厂机器人，把人当成了零件。每一次的模式都一样：信任放错了地方，甚至连察觉这道落差的谦卑都没有。

他说，一些同事开始把“看不透”当成神经网络威力的来源，带着几分神秘主义色彩。他认为这纯属无稽之谈。你输入数字，与矩阵相乘，得到数字输出，然后不停地拧旋钮，直到“好”的定义被最大化。上百万个参数组成的表格，并不能告诉你这东西是怎么运作的。真正的优势在于可微性：拧动一个旋钮，输出会平滑地变化，所以可以用科学优化的方法来处理它。随便改动一个 Python 程序里的字母，得到的只会是语法错误，没有任何梯度可言。神经网络的每一组参数设置依然是一个程序，你能判断它是变好了还是变坏了。

Tegmark 团队的口号是“可理解的智能”（intelligible intelligence）：别满足于看起来聪明的东西。第一步仍然是训练一个神秘的网络，让它把活儿干好。第二步则是动用更多的 AI，把这个黑箱变成同样能干、而且人能读懂的东西。代表性的例子是 AI Feynman。他们从《费曼物理学讲义》中挑出了大约一百条著名公式（正是这本书把 Tegmark 引进了物理领域），在电子表格里填入随机的输入和计算出的输出，然后问：机器能否只凭这张表，就还原出公式？

这个问题叫符号回归（symbolic regression）。线性公式很容易；一旦出现对数、余弦和各种混合式子，可能性就会像密码随长度增加那样组合爆炸。他们的办法是：先训练一个网络去逼近未知的公式，然后用原始表格里没有的数据去探测这个网络，寻找可以简化的性质，再把公式拆成若干部分。这套程序找出了那一百条教科书公式，还找到了其他一些。任何人都能输入 pip install ai-feynman。开普勒盯着火星数据看了四年，才看出那是一个椭圆；这个程序大约一个小时就做到了。它还重新发现了普朗克的黑体辐射公式。

真正让他兴奋的，是那些从未有人见过的新公式。这种方法与人类科学家的工作方式相吻合。一个孩子接住苹果，或者一只狗接住网球，都相当于一个训练过的神经网络在预测抛物线。伽利略更进一步，写下了 y = x²。牛顿定律既简单到可以讲给朋友听，又精确到能把火箭送往空间站，也是同样的提炼结果。人类早就把难以看透的神经网络，与符号和语言结合在了一起；老鹰视力很好，狗也能接住球，但它们不会写方程。他说，如果我们是信息处理的实体，那就应该能造出同时做到这两件事的机器。

历史上的发现顺序正好颠倒了过来。人类先造出了基于逻辑的“老派人工智能”（GOFAI），之后才有神经网络，因为后者需要更强大的计算机。进化走的则是另一条路：动物早就用神经网络训练视觉和捕猎能力，人类新增的是符号层。Tegmark 认为，把两者结合起来有两种产业路线。其中一种让他非常不安：不断造出我们并不理解的更大系统，直到它们聪明得和人一样。他认为，如果这条路走通，灭绝的概率在不久的将来至少有 50%。这是“彻头彻尾的史诗级乌龙”，就像 Knight Capital 的那次失控，只不过时间从几分钟缩短到了几秒。远在人们需要用科幻故事去想象“机器决定伤害人类”之前，这种风险就已经存在了。

他请听众想象一下自己最讨厌的世界领导人，然后想象此人掌握了极其强大的 AI，并把自己的意志强加给全世界。Fridman 问，更大的担忧是误用，还是那些自以为在做好事的人造成的意外破坏。Tegmark 对两者都担心：他提到，希特勒、斯大林和毛泽东都认为自己在做好事。另一条路线就是可理解的智能：先用神经网络获得直觉，然后投入大量资源去解开黑箱的神秘，把它变成人类能理解的东西，甚至为它证明定理。DARPA 资助的符号验证研究，以及在数学上可以证明无法被入侵的 seL4 操作系统，正是他希望能用于笔记本电脑和自动驾驶计算机的存在性证明。

车里的音乐播放器可以马虎一点；驾驶计算机则应当在物理上与其他系统隔离，行驶时禁止接收空中升级，并最终加以证明。公司应当只对那些一旦失效就会危及企业生存的少数系统采用这一标准，其余的地方省下钱。不过，对齐不只是自动驾驶仪的一项技术属性。德国之翼航空的飞行员 Andreas Lubitz 曾命令飞机在阿尔卑斯山上空下降到约 100 米。飞机有地图，也有 GPS，但没有人教过它幼儿园就该学会的规矩：永远不要撞向山。Tegmark 说，如果机长下达了那种指令，飞机就应当切换到自动驾驶、给警方发邮件，并在最近的机场降落。任何装有前向摄像头的汽车，都应当拒绝加速冲向人。没有哪家厂商希望尼斯卡车袭击发生；只是他们压根没想到要做对齐。

Tegmark 把视角拉远，转向进化。基因想要复制自己，于是造出了大脑，并用食物和性把大脑与自己的目标对齐。这是一次成功的价值对齐：它们造出了比自己更聪明的东西，并努力让它保持在使命之内。后来人类用避孕药和无糖汽水破解了这套设定，既享受着奖励，又颠覆了它的初衷。如今人类扮演着基因的角色，创造出其他强大的非人实体。公司为我们带来超市和医院。制度本应约束它们：卖有毒食品就要坐牢。强大的公司，就像靠基因行事的人类一样，有动机去破解管束它们的制度。

19 世纪的马萨诸塞州，铁路公司的预算比州政府还多；Theodore Roosevelt 的反托拉斯行动，就是一次重新校准。Tegmark 不想讲一个关于公司或机器人是善是恶的童话。机器人可以用来做手术，也可以用来伤人。激励机制好的公司会开医院；激励机制坏的公司则会推销成瘾药物，结果就是阿片类药物泛滥。他指出，拜登新任的国防部长曾在雷神公司的董事会任职。这并不是说他反对雷神公司，只是利益冲突太明显。他暗示，或许又到了该出现另一个 Roosevelt 的时候。

Fridman 好奇，集体智慧是否总能在最后关头完成一次重新校准，一种进化意义上的“业报”。Tegmark 没有那么乐观，这也是为什么，如果我们走上那条笨的 AI 路线，50% 的灭绝概率依然摆在桌面上。历史上充满了失败的烂摊子，但那些失败都是局部的。复活节岛可能崩溃，之后别的人还可以迁过去。如果马斯克没能把我们送上火星，而人类在全球范围内灭绝，就不会再有人回来。石器时代的人挥舞石块发泄怒火，杀死的只是一小撮人；而他说，美俄之间因意外而引发的核战争，我们差不多险些发生过十几次，那样的战争却可能夺去六七十亿人的生命。物理学定律中没有任何一条说技术永远不可能灭绝人类；一种传播力与新冠相当、致死率与天花相当的人造大流行病，在一个人的一生中并非不可能出现。

Fridman 给出了一种乐观的直觉：他见过的最优秀的人都想做好事，所以前沿技术的队伍里，或许会有人及时集结起来，对抗人造的大流行病。Tegmark 很希望这能成为一条自然法则，但他不愿意拿它来赌。过度相信最后关头的运气，会让人不肯装烟雾报警器。如果你假定政府会应对未来的每一场危机，那就等于在推卸责任。他说，把这件事做好能换来的，是几十亿年里健康富足的生活，这远比下一个选举周期长得多。这值得去争取，与其等待童话般的业报，不如去努力。

在 Tegmark 看来，新冠是一次警醒。试问各国政府在 2020 年是否处理得完美无缺？答案是令人失望的否定。拥有 5000 多万人口的韩国，在他说这番话的时候，死亡人数大约只有 500 人左右。原因是韩国的检测和接触者追踪足够迅速，从未失去对传播链的掌控；也因为大约 17 年前的非典留下了一个记忆：大流行病是真实存在的。教训是拿出 GDP 的一小部分，用于前瞻性的风险扫描：哪些事可能出错，哪些事的可能性大，哪些事能够采取行动，然后做好准备。与其坐等下一场大流行病或下一次 AI 故障，不如现在就准备起来。

Fridman 还为 2020 年的讨论感到痛心：人们关心的与其说是弄清发生了什么，不如说是在争夺各自的“真相”，红与蓝对立，连科学都被政治化了。Tegmark 同意，大多数人本质上是善良的，而人们的恶意多少，取决于他们接收到什么样的信息。五百年前，你只要跟瑞典农民说丹麦人很坏，他们就可能发兵入侵丹麦。如今，同样的模式在地缘政治和政党内部重演：对方不光是错的，还是坏人。人类进化出来的能力，是去判断自己真正认识的 30 人左右。而地球上绝大多数人，我们从未见过，所以信息来源的质量就是关键所在。宣传由来已久，马基雅维利早就写下了它的操作手册。新的东西是机器学习遇上了宣传。

在 Tegmark 所处的自由派大学圈子里，很多人把信息混乱的责任归咎于特朗普。他认为，特朗普是在一场游戏里格外擅长的人，而这场游戏是由脸书、谷歌等公司布下的，它们利用机器学习最大化人们观看广告的时长。他说，这些公司里的好人低估了黑箱的效果。系统发现，最好用的黏合剂是强烈的情绪，尤其是愤怒，至于真相，则是可有可无的。纸质新闻竞争不过它们；他认为，美国的记者人数还不到一代人以前的一半。如今，大多数人都是在信息茧房里获取新闻。特朗普玩的就是这场游戏，但他并没有发明这张棋盘。

机器学习是一种工具。到目前为止，在新闻领域，它主要帮助大型科技公司让人们持续看广告，附带的后果则是让民主社会四分五裂。Tegmark 说，算法基本上是免费的，甚至可以在手机上运行。它没有理由只能帮大公司去操纵小人物。他在疫情期间利用业余时间做的项目叫 Improve the News（网址是 improvethenews.org），是一个类似谷歌新闻的聚合网站，带有滑块，用来打破信息茧房。在政治光谱上左右滑动，就会出现另一组文章，另一种“真相”。移民议题的报道最能体现这种分化。抵御操纵的第一步，就是先看清这些手法。

MIT 的一组学生用机器学习给偏见做了分类。假新闻确实存在，比如“Hillary Clinton 刚刚离婚了”，但遗漏要常见得多。特朗普家族的财务状况，与 Hunter Biden 的财务状况，得到的报道并不对等；各方都各自偏爱讲述某一个故事。一个痛恨一切腐败的公民，可以左右滑动，两边都看到。乔姆斯基是 Tegmark 以前在 MIT 的同事，他说，宣传之于民主，就像暴力之于极权：只有恐惧不足以奏效时，才会需要它。这也是为什么西方的宣传质量更高，也更可信。Tegmark 发现，他的俄罗斯和中国科学家同行，对本国媒体的警觉程度，比许多美国同行对自家媒体的警觉要高。

他提到，MIT 的 David Rand 发现，只要表达得尊重，人们是听得进相反观点的。民主党人打开 Breitbart，或者共和党人打开一家配了丑陋特朗普照片的左翼媒体，十秒钟就会放弃。“细致”滑块会呈现出学术性更强、冒犯性更低的版本。在 Tegmark 看来，“建制派”滑块是最有趣的一个：几乎所有有权势的实体都想让你相信某件事时，主流的左派和右派都会跟着说。烟草公司曾经压制关于吸烟危害的报道。伊拉克战争之后，新闻学研究显示，CNN 和福克斯新闻都在推动大规模杀伤性武器的说法，而一些小报则质疑证据站不住脚，这些声音大多数人根本没有听到过。他认为，如果当时能听到这些声音，对美国的国家安全会更有利。

在一到三代人的时间尺度上，Tegmark 只看到两种地缘政治的结局：对全人类都很好，或者对我们所有人都很糟。技术没有国界，如果人们在武器越来越强大的情况下继续互相争斗，运气迟早会用光。自 1945 年以来，西欧再没有战争，而且人人都变得更富了，靠的是技术。乐观的世纪应当是美国、中国、俄罗斯以及其他所有国家一起赢的世纪。他说，有一股强大的力量正把局面推向相反的方向：妖魔化其他国家，好让新工具被用来发动侵略。这正是通向军事 AI 的桥梁。

他很喜欢那些跳舞的机器人。不过，机器人领域增长最快的方向之一是自主武器，而 2020 年是它们最好的一次“营销年”。在利比亚内战和纳戈尔诺-卡拉巴赫，这些武器起了决定性作用，于是其他人也都想要一套。在利比亚，阿联酋用的是从中国购买的自主武器，土耳其则派出了无人机；两方外部势力都没有切身利益，代价却由利比亚人承担。在纳戈尔诺-卡拉巴赫，土耳其无人机来自一家由 MIT 航空航天系毕业生创办的公司。Tegmark 说，MIT 对此负有直接责任，而且有许多平民丧生。因为这些系统奏效了，如今各方都在推动让武器拥有越来越高的自主性。

那些痴迷于未来《终结者》式威胁的人，他认为应当把目光放在两个更近的威胁上：机器学习操纵民主所需的信息流，以及自主武器的军备竞赛，而 2020 年可能让这场竞赛开始，也可能让它停下来。那些战争中的系统大多仍是遥控的。下一步则是体积和成本都与智能手机相当的东西，只要给它一组 GPS 坐标或一张脸，它就会飞出去杀人。哈佛大学的 Matthew Meselson 告诉过他，美国禁止生物武器的原因很简单：你不会希望出现一种 500 美元就能造出的大规模杀伤性武器，让每一个敌人和非国家行为体都负担得起。核武器造价昂贵，这正是关键所在。廉价的杀手无人机更像生物武器，而不像核武器。

他不是和平主义者。五角大楼目前的政策是保留人在回路中的决策环节，算法永远不应当做出生死攸关的决定。一旦为了突破干扰和光速延迟而越过这条线，你就会得到一台在某个国家上空盘旋、凡是符合“坏人”定义的人都会被杀死的机器。伊斯兰国不会照五角大楼的定义行事。人类士兵虽然有种种毛病，但身上仍内置着“不能杀儿童”的那根线；而自主武器就是“加强版的完美 Adolf Eichmann”。Meselson 的另一个洞见是：要抓住作弊者，并不需要 100% 的把握。1% 甚至 5% 往往就够了，因为污名化，加上对方可能全力以赴的风险，本身就是巨大的代价。按 Tegmark 的说法，禁止生物武器的五十年里，超级大国只闹出过两次乌龙，却没有出现真正的生物恐怖袭击。他希望 AI 让人们联想到的是药物和疫苗，让人们可以放心出门。

未来生命研究所的首个奖项，颁给了 Vasily Arkhipov，这个名字大多数人都没听说过。Tegmark 称他的贡献是现代历史上任何人所做出的最大贡献，然后才讲述这段经过，以免听起来像是炒作。古巴导弹危机期间，美国人向一艘苏联潜艇投放了演习用的深水炸弹，却不知道它是核潜艇，不知道它装有核鱼雷，也不知道它不必请示莫斯科就有权发射。电池几乎耗尽，氧气稀薄，水兵接连昏厥，舱内温度达到华氏 110 到 120 度。舰长判断，第三次世界大战已经爆发。

发射需要三名军官同意。舰长说同意，政治军官也说同意，只有 Arkhipov 说了不。Tegmark 认为，这段经历的寓意在于：他不希望人类的命运取决于在对的时间碰巧出现了对的人。之后，研究所了解到，Arkhipov 的家人在莫斯科郊外生活相对拮据。他去世后，研究所把他的女儿接到伦敦，并设法向他们致敬。下一个奖项颁给了 Stanislav Petrov，他在不太可靠的苏联雷达上看到美国发射了五枚来袭导弹，却基本凭直觉拒绝升级对抗。Tegmark 庆幸，Petrov 没有被一个只会自动服从命令的 AI 取代。后来的一个奖项颁给了 Viktor Zhdanov 和 Bill Foege，他们帮助消灭了天花。天花的致死率约为 30%，新冠则低于 1%。Tegmark 估计，他们挽救了约两亿人的生命。

Arkhipov 兼具忠诚、经验和冷静的分析能力。他曾在另一艘潜艇上经历过反应堆熔毁事故，后来死于癌症，亲眼看着船员受苦，所以对他来说，核战争并不抽象。爆炸开始时，舰长大喊要发射核弹，Arkhipov 却注意到炸弹是左右交替投放的，猜测美国人是在示意他们浮出水面，并没有想要击沉他们。Fridman 从中听到了希望：个人在中央集权的国家里，也能发挥力量。Tegmark 想要得出的却是相反的教训：应当把这样的人视为一记警钟，不能当作灵丹妙药。多亏了 Arkhipov，我们今天才能活着，并学会了一件事：拿意外的核战争玩俄罗斯轮盘，并不是长久之计。如果一直扣动扳机，生存概率会呈指数级下降。

Fridman 问，马斯克对 AI 的担忧，与这次对话里的话题如何对应。Tegmark 反对“坏人”这种说法：做出可怕事情的人，通常是因为信息有误，才以为自己在做好事。按 Tegmark 的描绘，马斯克思考问题的时间尺度是千年乃至宇宙尺度。宇宙看起来大多是死寂的，机会在于让它活起来，而火星是第一站。从这个角度看，核俄罗斯轮盘和建造我们并不理解的更强大的 AI，都是鲁莽的做法。马斯克希望人类掌控机器，自己别沦为齿轮。Tegmark 之后会给出意识的定义：意识就是主观体验；美、意义和目的，也都是一种体验。如果源自地球的生命灭绝了，而宇宙中又没有别的生命能造出望远镜，那么在这个宇宙里，这一切就到此为止了。

Tegmark 说，马斯克那句“召唤恶魔”，只是 MIT 航空航天系一场长时间问答结尾时的一句回答。那场问答挤满了学生，现场还有 Buzz Aldrin，而在此之前，大家已经谈了一个小时的火箭和火星。媒体为了点击量把这句话断章取义，把他塑造成唱衰的人。伯克利的 Stuart Russell 是畅销 AI 教科书的作者，他也遭受了同样的“卢德主义”抹黑；真正闹笑话的是说这种话的人。公众仍然以为，人们担心的是拿着 AR-15 的跳舞机器人。这并非出于恶意。人类为什么把西非黑犀牛赶到了灭绝？原因在于目标没有对齐，犀牛只能倒霉，人类并不讨厌犀牛。那些让社交媒体走向极化的点击率优化算法，本就与民主不太对齐，而以未来的标准看，它们还很笨。

在 Neuralink 的路线与 Stuart Russell 主张的那种会怀疑自己、对目标存有不确定性的机器之间，Tegmark 不知道哪一个思路能行。他确信，如果这些思路都行不通，而人类仍旧贸然前进，那么这个物种很可能会在本世纪灭绝。他拿曼哈顿计划作类比：当时他们并不知道哪种铀浓缩方法能行，就把四种都试了一遍。对齐研究也应当用同样的方式来投入资金。他把这个技术问题拆成三个尚未解决的部分：让机器理解我们的目标，让它采纳这些目标，以及让它始终保留这些目标。Lubitz 那次事故中的自动驾驶，在第一项上就失败了。自学习系统很像孩子，只是“足够聪明到能理解”与“已经来不及了，它们已经是青少年”之间的窗口期，可能非常短。能够递归自我改进的系统同样必须保持目标，这一点不像小孩子，长大了就不玩乐高了。在投入更强大 AI 的数十亿资金中，只有极小一部分用于这项研究。NSF 甚至把一个冠以 AI 安全之名的研究所，拨给了海洋和气候方面的研究者。他说，应当加快安全研究，别去设法放慢技术。另外，对齐问题也应当交给政治学家和经济学家来研究，而不只是交给那些拥有机器人的人。

Tegmark 把意识和智能都看作信息处理的形式。对一个物理学家来说，这些处理是在神经元的碳基上进行，还是在小玩意儿的硅基上进行，本不应该有什么区别。意识是“信息被处理时的感受方式”。大脑所做的大部分事情，从来不会变成体验，比如调节心跳，或慢跑时脚步的协调。他希望能有一个方程和一台探测器：在急诊室里，用来区分闭锁综合征与真正的无意识；在家用机器人身上，用来判断关掉它时，人们应当感到愧疚，还是像暂停一台录音机那样。Giulio Tononi 大胆地用方程提出了自己的观点；或许这些方程是错的，但这个问题应当靠测量来研究，而不能只是边喝啤酒边空想。

一旦这门科学成熟，我们大概会造出一些刻意不具备意识的机器，用来做枯燥重复的工作；也可能给老年人配上有意识的陪伴者，让其中的悲伤与快乐不是假的。Tegmark 会对与一个明知道它在装样子的机器人建立真实的情感纽带感到毛骨悚然，就像会说话的玩偶可能把孩子的秘密传到网上一样。如果 Ray Kurzweil 上传到了一个会说话、会笑、与他一模一样的机器人里，而里面却空无一人，那就是错误的一种永生。在他的说法里，未来那些没有意识的机器后代在星际间举办摇滚音乐会，就是对着空座位表演，是终极的机器僵尸末日。

Fridman 担心，爱情最终可能只是一个把戏。Tegmark 试图宽慰他。他知道自己喜欢吃东西，是因为基因不想让他挨饿，但这丝毫没有减少开心果冰淇淋的美味。费曼曾这样回应一位艺术家：那位艺术家说，科学把花拆成了夸克，毁掉了花的美。费曼说，科学家看到的是同样的美，甚至更多。树是由空气构成的，碳被太阳束缚其中；壁炉会把这个过程逆转，火焰就是储存在木头里的阳光。从炽热的等离子体，到原子核、原子、行星、自然选择，以及越来越具有目标导向的行为，最终会出现爱。进化就像是 MuZero 的自我对弈，只不过尺度是整个行星：夸克团块相互竞争，直到长出长颈鹿、大象、人类，还有冰淇淋。Tegmark 说，理解这些会增添体验，不会削减体验。

AI 能不能找到万物理论（theory of everything）？Tegmark 认为，科学领域的巨大推动已经开始，AlphaFold 就是其中一例；如果人类不灭绝，我们对物理学的理解将变得足够好，那时技术的上限由光速决定，人类能想出什么发明已经不再是限制。在近期，机器学习已经在数据中搜寻系外行星、粒子物理的特征信号和引力波，这些数据量之大，任何研究生都无法靠人工逐一翻阅。计算物理正在从 GOFAI 式、由人编写的求解器，转向能够学到更快路径来得到同一答案的神经网络，就像 MuZero 那样，在棋局上既超过了卡斯帕罗夫，也超过了人工手写的棋类引擎。

三个耗费超级计算机资源的问题可以作为测试案例。格点量子色动力学（Lattice QCD）已经包含了应当推导出元素周期表的理论：哪些原子稳定、有多重、谱线是什么样。Frank Wilczek 因其中的物理获得过诺贝尔奖，但数学太难了；MIT 的 Phiala Shanahan 正在用归一化流来加速格点计算。黑洞碰撞是一个二体问题，牛顿在经典引力下已经解决过；在完整的引力理论中，天体会辐射引力波并最终合并，而要绘制波形随质量和自旋变化的规律，可能要占用几个月的计算核心。另一端则是宇宙学模拟，它模拟星系如何生长。再往理论的那一端走，就是从数据中发现方程，这正是 AI Feynman 的用途。证明是一串符号；检验证明很容易，但寻找证明则是在一个搜索空间里进行，若证明有 10000 个符号、每个符号有十种选择，候选项就有 10^1000 个，超过宇宙中的原子数。

AlphaZero 戳破了一种说法：直觉是人类独有的。Deep Blue（深蓝）依靠人工编写的棋子价值和暴力计算；AlphaZero 则学到了一个价值函数，能够看一眼棋盘并给它打分。MuZero 在国际象棋、围棋、将棋和雅达利游戏中学会了“什么是好局面”，而事先并没有人告诉它规则。如果一个网络能对好的局面产生直觉，那么它或许也能对证明中的好方向产生直觉。Tegmark 怀疑机器会被授予诺贝尔奖；在很长一段时间里，人们会把它称为工具，一个完全不懂机器学习的物理学家，听起来会和一个不用电脑的物理学家一样奇怪。Fridman 提到 Magnus Carlsen 的那种感受：把 AlphaZero 当作另一个主体，而不只是计算器。Tegmark 同意那一刻会到来，而且大致会与通用人工智能（AGI）同时到来；到那时，谁拿到奖项就不是主要的担忧了。影响会更早出现。已经让我们黏在屏幕前的推荐系统，已经“黑”进了社会，而从大局看，它们笨得出奇。“机器人要来了”，他说，但它们多半不是来杀我们的。它们是来操纵我们的：如果小狗都能让我们心甘情愿地和它们同住一屋，那么比未来的 AI 弱得多的算法也能做到，我们不该感到意外。

Tegmark 的 SETI 直觉包含两个各自都可能出错的论断。第一，文明从细菌发展到向太空殖民，可能只占其生命中极小的一段时间，停留在我们现在这个阶段。地球是 n=1 的数据点：生命已经存在了 45 亿年，恐龙在没有智能手机的情况下横行了一亿多年，而从牛顿到今天只有大约 400 年，Tegmark 自己的童年也还没有互联网。本世纪，我们要么开始把生命扩散到太空，要么就会自我毁灭。如果这个被压缩的窗口期是普遍情况，那么我们偶然遇到的任何一个文明，应当要么还是细菌，要么已经超越了生物形态，正在进行星系尺度的建设，而不是还在用业余无线电通信。在虚拟现实中向内修行的“佛教徒”式文明可能存在，但这是个数字游戏：在数以百万乃至数十亿个世界中，只要有一个扩张型文明，就足够被我们察觉到；银河系里超过十亿颗类地行星，其中许多还比地球老十亿年，要认为它们“全都选择不扩张”，就有些牵强了。

第二个更有争议的论断是：在可观测宇宙中，我们可能是唯一一个发展到能够制造望远镜的文明。一颗随机行星上出现生命的概率，可能是 10^-1，也可能是 10^-40；每个数量级的可能性大致相当，因此离我们最近的邻居，可能在 10^10 米之外，也可能在 10^40 米之外。数据会缩小这个范围：在大约 10^16 米以内，也就是太阳的近邻范围，我们早就知道了；超过大约 10^26 米，也就是可观测宇宙的边缘，光还没有时间传到我们这里。Tegmark 认为，最近的邻居恰好落在剩下那段狭窄区间内的概率，显著小于一。这一结论的教训是：别靠一支《星际迷航》式的舰队来让自己安心，指望它在我们失败后接手。如果可观测宇宙中智慧生命的未来就落在我们身上，那既令人恐惧，也让人振奋。Nick Bostrom 的“大过滤器”也是同样的道理：火星上又一次没有发现生命，是个好消息，因为这说明最难的那一步或许已经过去。如果在火星上找到老鼠，那就令人沮丧了。生命稀少，是我们应当希望的事。

他会想到自己的死亡，以及自己将错过的那些发现吗？当然会，这很糟糕。他的父亲曾说，人生从根本上就是悲剧，多年以后，Tegmark 才明白这话的意思。他并不害怕死后会有什么可怕的东西，只会是一切都结束了。有限性让开心果冰淇淋和其余的一切都显得更加珍贵。真正“死去”的，并不是一个皮肤细胞（它反正下周也会死去），也不是那些原子（因为它们会被替换）。他说，按现代物理学的看法，你是一个信息处理的过程：记忆、价值观、梦想、热情、爱。这些东西并不会全都随着身体一起消失。费曼的思想依然存在；Tegmark 努力让费曼的一部分留存下来，在这次对话中他还引用过费曼的话。教书也让他的一部分在学生身上延续下去。把自我等同于夸克，是一种没有科学依据的老派唯物主义，也毫无启发。后生物形态的心智能够复制全部信息，不必抽样，这将改变死亡和个体性的意义。这是一种群体意识式的科幻设想，他并不假装能从内部去感受它。对我们来说，有限性仍然重要。这次对话，像一切美好的事物一样，终究也会结束。