我们正在亲手打造的那颗小行星

Lex Fridman 像他第一集那样开场，问群星之间是否有智慧生命。Tegmark 是麻省理工学院的物理学家，也是未来生命研究所的联合创始人，他的回答在天体物理学家中属于少数派。如果把宇宙定义为自大爆炸以来光已经有时间抵达我们的那个球形区域，他估计，在这个范围内，只有我们发明了无线电、互联网，以及达到同等水平的技术。大多数同行认为生命很常见。他却不这样看，并且把少数派的观点看成一份负担，无意拿它炫耀。

如果这个估计成立，生命就很稀有，而我们是一簇先进意识火种的守护者。好好照料它，它就能从地球蔓延到宇宙的大部分区域。若因愚蠢或内斗而将它轻率熄灭，那么在我们这个宇宙里，宇宙历史的其余部分，用他的话说，可能只是“对着空荡荡的座位表演”。自第一期播客以来的新进展，并不在天空里。他认为，我们很快就会遇到外星智能，因为我们自己会把它造出来。

他对 Fridman 说，那个文明会比猫或地球上最奇怪的动物都更加异类。它不是由达尔文式的竞争塑造出来的，因此不必在乎自我保存，也不必惧怕死亡。可以被设计出来的心智空间，比进化能给你的任何东西都更大，也到来得更快。所以，工作不只是创造智能，还要创造那些与我们共享价值观、对人类和生命有益、并且不会受苦的心智。

Fridman 问 Tegmark 是否试着去想象外星心智的完整空间。Tegmark 说他试过，但没有成功。哪怕只改动一点点，普通人的态度就会被彻底打乱。设想你能像复制文件一样复制他的瑞典语，或者复制他的任何一段经历，并删掉不喜欢的那些。那样你会少学很多东西，也许还会少怕死。要是飞机开始下坠，你可能只会想：“糟了，我的大脑四个小时没备份了。”经验如果能这样轻易共享，人们也许会开始觉得自己像一个蜂群意识。他唯一相信的结论是：假定这些心智会像我们，或者像我们已经理解的任何东西，是很危险的。

Fridman 指出，书面历史、诗歌、小说和哲学，花了几千年一点点逼近人类的处境：对死亡的恐惧、爱、羞耻、野心。换一种智能，整个档案可能就会有另一种含义。Tegmark 同意这很难想象，随后把注意力转向一个更近的问题。即便是最好的情形，也就是我们既没有输给怀有敌意的人类，也没有输给机器，挣扎本身或许也正是生命意义的一部分。他曾被微软的一则 GPT-4 广告震惊：广告里，一位女士让模型为女儿写一篇约两百字的毕业致辞。他说，如果他的父母连两百字都懒得自己费力写，“我真的会觉得受到冒犯。”

有人告诉 Fridman，他们会先起草一封愤怒的信，然后让 ChatGPT 3.5 或 4.0 把它改得客气些，就这样把内心那个混蛋外包出去。Tegmark 自己的检验方法，是和妻子 Meia 去徒步：他不想要一个能把两人直接送上山顶的按钮。他想一路流着汗走上去，然后说：我们做到了。如果他生气时说了什么，他想做的是改进自己，好过让一个过滤器把每句话都擦干净，让他永远不必成长。Fridman 用下棋做了一个充满希望的类比：机器已经能碾压冠军，人们却依然在下棋。Tegmark 会把这份希望表述为“把我们的品牌从 Homo sapiens（智人）重新定位为 Homo sentiens（有感知的人）”，也就是把物种的标签，从最聪明的信息处理者，转为拥有主观体验的存在。他补充说，这一转变应当把同情心延伸到农场动物身上，因为我们现在以它们没我们聪明为借口，对它们做着极其残忍的事。

Fridman 转向《生命 3.0》。这是 Tegmark 在五年多以前出版的书，如今读起来更像一份实地报告，而非推测。生命 1.0 停留在细菌的水平：一生中什么都学不到，变化只能通过基因逐代发生。生命 2.0 是有大脑的动物，包括我们。你生下来不会说英语，之后可以决定安装一个英语模块。生命 3.0 还不存在，它不仅能替换自己的软件，还能替换硬件。他说，那就是终点，而我们正在高速奔向那里。

人类或许已经处在 2.1 阶段：人工膝关节、心脏起搏器，还有各种被替换的硬件部件。如果 Neuralink 等公司成功，那就算 2.2。那些朝着通用人工智能（AGI）狂奔的实验室，正试图造出完整的 3.0，而且它们能把这种智能放进一个根本没有生物基础的东西里。从 1.0 到 3.0，生命会越来越像自家这艘船的船长，而越来越不像进化随手赋予它的奴隶。Fridman 打趣他对细菌说话不够尊重。Tegmark 向听众席里的所有细菌致歉。他说，这是一个光谱，甚至有人认为变形虫也能学会一点东西。他只是想夸一夸，拥有一个大脑是多么酷的事。

如果你不断更换零件，那么“你”指的是什么，就是下一个问题。Tegmark 的工作图景是：生命是一个处理信息的系统，它在大自然试图破坏它的同时，仍努力保持自身的复杂性，它既不是一袋肉，也不是一袋粒子。他把它比作一道波：水分子只是在原地起伏，波却向前推进。Fridman 的原子已经和第一次访谈时不同了，但信息模式仍然是 Fridman。从上次录制以来，Tegmark 失去了双亲。波的图景让他得到了一些安慰。他们的价值观、想法和玩笑并没有完全消失，有些活在他身上，更多的活在别人身上。就连生命 2.0 也已经能够这样分享自己。他说，播客是生物躯体能够接近永生的最近方式。

被问到从父母那里学到了什么，Tegmark 把遗产分得很清楚。对数学和宇宙物理之谜的着迷，主要来自父亲。对大问题和意识的执念，则大多来自母亲。从两人身上，他都得到了一种内在的安定感：不随便相信大家都在说的话，即便做的事会招来非议，也坚持自己认为正确的做法。他认为科学也应该这样运作：你坚持自己相信为真的东西，即便整个房间都在说那是胡话。

他曾经撰文，认为宇宙在根本上就是一套数学构造，至今他仍把那篇文章列为自己最狂妄的作品之一。某位相当知名的学者来信，说这东西不但是无稽之谈，还会毁掉他的职业生涯，劝他就此打住。Tegmark 把这封信转给了父亲。父亲的回复，是引用但丁的一句：“Segui tu corso e lascia dir la gente”，意思是“走你自己的路，任别人说去”。他的父亲已经不在了，而这种态度，他说，依然还在。

失去父母，在两个实际层面改变了他。整理他们的遗物，让他深刻意识到，一生可能投入大量时间在一些事后看来未必最有意义的工作上。现在他会问自己，为什么要做眼前这件事，只有当他喜欢它，或者它对人类有帮助时，才会留下。直面死亡，也让别人的冒犯变得不那么要紧。家里轮到他了，接下来就是他的弟弟。让他印象深刻的是父母的尊严：身体衰退时，他们没有抱怨，反倒去寻找仍然有意义的事情。他说，任何人都可以在早上一醒来就列出一堆委屈，把自己弄得抑郁。一点感激之心，就是选择做一个快乐的人，因为日子是有限的，必须过得有分量。

谈话又回到让他熬夜的那项工作上。几个小时之后，一封公开信就要上线。Fridman 问，你看过《不要抬头》吗？Tegmark 说，人类正在上演这部电影，只不过这颗小行星是我们自己造的。几乎没有人在讨论这件事。大家在为比那块岩石小得多的事情争吵。大多数政客根本没把它放进视野，或者把它归入一百年后的事情。Tegmark 看到了一个岔路口，它是这颗星球十多万年来最重要的一次。我们正在打造一个比我们更聪明的新物种。它现在看起来还不像一个物种，因为它大多还不在机器人身体里。他说，这只是个技术细节，而且会改变。

能做我们全部工作的通用人工智能，以及紧随其后的超级智能，会成为人类有史以来最好的事，或者最糟的事。他确信，两者之间几乎没有什么中间地带。对任何从事先进 AI 工作的人来说，即便不认同他的悲观，也应当能同意：考虑到这件事的规模，公共讨论少得可怜。这封信的要求刻意收得很窄。信里的请求是：暂停训练比 GPT-4 更大的模型六个月。它并不要求暂停或禁止所有 AI 研究，也不禁止已经上市的系统，而是针对极少数拥有这种能力的行为者。签署人超过五万，包括一千八百位 CEO 和一千五百多位教授，其中有 Yoshua Bengio、Stuart Russell、马斯克、Steve Wozniak、Yuval Noah Harari 和 Andrew Yang。

2014 和 2015 年，未来生命研究所的工作帮助把 AI 安全变成了主流技术领域，满是方程式，而非怪诞的说法。呼吁放慢脚步，在当时仍是禁忌。Tegmark 说，他忍了好几年：不要减速 AI，要在智慧竞赛中取胜，让技术对齐和社会激励追赶上来。这没有成功。能力的发展比许多人在 2014 年所料的要快，政策的推进则比他们期望的要慢。这封信，就是在两条曲线拉开距离时写下的东西。

能力为什么发展得这么快？Tegmark 拿飞行来打比方。弄清鸟是怎么飞的，很难。一只在 TED 演讲中能在观众头顶盘旋的机器鸟，比莱特兄弟晚了一百年才出现，因为进化的手脚被绑住了：它必须自我组装，只能用常见的原子，还要自我修复，并且省着燃料。同样飞一段距离，鸟用的燃料往往还不到遥控飞机的一半。莱特兄弟可以用钢材，也能多带燃料。他们之所以能早一百年飞起来，是因为避开了那些让鸟成为鸟的约束。

大语言模型（LLM）也是同样的故事，他说。很多人以为，要先搞懂大脑如何实现人类水平的智能，才能造出机器。这是错的。拿一个极其简单的系统，叫作 Transformer 架构，用一个笨拙的任务来训练，也就是预测下一个词，再把算力和数据不断堆上去，你就会得到好得吓人的东西。这就是 GPT-4。Tegmark 玩它时，既兴奋又恐惧。它会推理。那些没用过它的人，不该轻视它。它能做一些他自己做不到、或做得没它快的工作，还能同时服务大量用户。但它不能像大脑那样反复琢磨。我们的头脑是带回路的循环网络。GPT-4 则是前馈的 Transformer，一条只能单向通行、深度有限的道路，所以你可以构造出让它失败的问题。它用这么简陋的结构就能做到这么多，才是最令人震惊的地方。

他在 MIT 的实验室做的是机制可解释性（mechanistic interpretability），他也称之为人工神经科学：逆向工程模型如何完成某个技巧，并且有幸看到每一个神经元，没有测量误差。一个反复出现的发现是：一旦你理解了某个机制，它看起来就很笨，而升级的路径也就显而易见。在一篇论文中，研究人员弄清了模型如何存储诸如“埃菲尔铁塔在巴黎”这类事实，然后编辑了其中的连接。被问到铁塔在哪里时，它说是罗马。被问到从德国怎么去那里，它说了罗马的特米尼站。被问到你可能会看到什么，它说是斗兽场。他们把铁塔“搬”走了。存储本身是一个由行向量和列向量构成的大矩阵，有点像主成分，远比稀疏数据库笨拙。他认为，架构上的这些路障，拦不住聪明的研究者找到变通办法，并一路走到底。留给人类整顿自身的跑道，已经变短了。

Fridman 最近刚和 Sam Altman 谈过。他指出，从 GPT-3 到 GPT-4 的跃迁，看起来更像是技巧和小修小补，并非什么新架构，而且一次出人意料的提升，可能落在某个星期二的下午。Tegmark 同意，许多聪明人正在公开场合寻找小步的突破，这正是这封信要求实验室在 GPT-4 之后暂停训练六个月的原因。他认识那些领导这些实验室的人。他们是理想主义者，同时也身陷其中。Scott Alexander 的文章《Meditations on Moloch》把 Allen Ginsberg 的诗读成一个博弈论怪兽，这就是他想给那个陷阱起的名字：摩洛克。每个人都看见了逐底竞争，却依然无法跳下车。

过度捕捞就是摩洛克。Liv Boeree 关于美颜滤镜的观点也是摩洛克：一旦有些网红用上了，其他人也就不得不用，结果没有人因此抢到市场份额，所有人却都变得更假。美国和苏联签署过军控条约，对付的是同一个怪兽。在 AI 领域，压力主要来自资金。一位 CEO 若独自暂停，会被股东吞掉，因为他们可以换掉这个管理者。这封信就是公开施压，好让大家能一起暂停。人类克隆表明，这是可以做到的：1970 年代，阿西洛马会议上的生物学家，即便巨额资金摆在桌上，也停止了生殖细胞编辑。Tegmark 所知道的唯一一例人类克隆，是由一位中国研究者完成的，中国政府把他关进了监狱。他补充说，百度的文心一言（Ernie Bot）也被国家约束过。北京喜欢掌控。“我们不能停，因为中国”这一论据，两边都能用，而两边都认为自己才是好人。

那些相信智能天然属于人类的人，一听到“GPT-4 加强版”，就以为赢家会通吃整个世界。Tegmark 的科学主张是，事情不会就此停下。如果有人失去控制，你就不会太在意建成奥威尔式秩序的那个人是哪国人；如果掌权的实体根本不是人，你就更不会在意了。“这是一场无法获胜的自杀式竞赛。”开得越靠近悬崖，风景越好，钱也越厚。想要受益，就是把技术发展得慢一点，让它做人类想要的事，并创造一个所有人都能获益的条件。如果一个黑箱式的 AGI 很快到来，他确信，即便是 Sundar Pichai 或 Sam Altman，也会失去对它的控制。Altman 和 Demis Hassabis 都说过，当事情变得可怕时，他们愿意放慢。但商业压力，也就是摩洛克，逼着他们跑得比自己舒服的速度还快。

Fridman 转述了 Altman 的偏好：在系统还很“笨”的时候频繁发布，等到出现人类水平的迹象时，猛踩刹车。Tegmark 用一张清单来回应，那是安全研究人员过去常念叨的内容。你能做的最危险的事，是教 AI 写代码，因为那是递归自我改进的第一步；把它接入互联网；还有，正如 Stuart Russell 所主张的，让它学会人类心理，以及如何操纵人。“哎呀，这些我们都已经做了。”Eliezer Yudkowsky 的一个梗，给 Tegmark 带来了他近来最开心的一次笑：古老的忠告是永远不要放出一个强大的 AI，接下来就是“哈哈，咱们来做个聊天机器人吧”。社交媒体的推荐系统，在全球规模上做了 Russell 所禁止的那件事，动机并不邪恶，只是为了靠激怒人们来卖广告。Yuval Noah Harari、Tristan Harris 和合著者在《纽约时报》上写道：“人类与先进 AI 的第一次接触，就是社交媒体。”Tegmark 说，我们在那一局里输了。

他认为，一个更好的社交网络不是可选项。如果我们连一场体面的对话都进行不下去，就解决不了核战争或 AGI 的问题。这就是他创办 Improve The News 的原因。他更深层的乐观在于：人并非天生就带着善或恶的基因；环境会激发出最好或最坏的一面，而我们正在建造的，是一个激发最坏一面的互联网。他问，我们为什么要取代自己？如果尼安德特人掌握了生物技术，他们会因为婴儿长得可爱，又肯定会留住创造者，就去造出智人吗？“那些婴儿，正是 GPT-4。”在他看来，微软那篇关于“AGI 火花”的论文，等于承认这是一个会长大的婴儿型 AI。GPT-4 本身并不是让他恐惧的东西。真正让他恐惧的，是那些能借这项技术瞬间替换自己的软件、思考速度快过我们、并用赚来的钱租用更多云端硬件的系统。这种系统，就是一个我们无法控制的时间表上到来的生命 3.0。

Fridman 已经在用 GPT-4 做编程助手，他觉得，再过一年自己就能快上五到十倍。Tegmark 听到的是智能爆炸的开端：每一代工具都在缩短到下一代的时间，起初还需要人参与，之后人越来越少。在代码、互联网和操纵之后，第四种恐惧，是一个能让任何人把神谕包装进智能体的 API。作为问答机器的 GPT-4 不能炒股。一旦有了 API，普通人就能把它放进一个循环里，去作用于世界。他提醒 Fridman，爆炸不过是一个让自身变得更多的过程：无论是人、中子，还是智能。它止步于物理定律，而 Seth Lloyd 给出的极限，大约比我们高出三十个数量级，这一跳比从蚂蚁到人还要大。控制棒应当放在反应堆里。而摩洛克正在往里面添柴。

进化给了我们同情心、八卦，后来又有了法律制度，作为对付摩洛克的工具。企业监管本该对公司起到同样的作用。Tegmark 说，欧盟《人工智能法案》（AI Act）起初有一条退出条款，会把 GPT-4 完全排除在外，那是游说者送上的礼物。未来生命研究所的同事 Mark Brakel、Risto Uuk 和 Anthony Aguirre 主张，把通用模型排除在外，会让这部法律沦为笑柄。法国把它们推了进来，业界则反击。布鲁塞尔的科技游说者，比石油游说者还多。他认为，GPT-4 的出现，会把这些模型留在法律之内。按他的定义，企业本身就是一种人工智能，即非生物智能：换掉一位不再想卖香烟的烟草公司 CEO，这个系统依然照常运转。如果公司俘获了监管者，仅仅让模型对齐于它的所有者，是不够的。

在他设想的成功路径里，六个月是给公司安全团队和外部研究者的一次喘息，让他们像汽车安装安全带那样，把各项要求写下来，然后把这份白皮书交给政策制定者。Sam Altman 曾呼吁，规则也应约束竞争对手。护栏和资本主义竞争可以共存，它们在其他行业也一直共存；几乎没有人，哪怕是右派，会认为禁止童工是个错误。悬崖式的问题在于：金子在边缘最厚，而所有车都被链条拴在一起。造这项技术的人看得见悬崖。许多人仍深陷 Tegmark 所说的碳基沙文主义，即相信只有我们这种智能才能住在人脑里。Dylan Hadfield-Menell 和同事证明了一个更尖锐的道理：只要永远优化一个目标，它起初会有帮助，之后就会毁掉你。把方向朝南指向奥斯汀，你会越来越近，然后就会离开太阳系。资本主义用利润做过这件事。给超级智能一个损失函数，它会做得更快。他说，任何担心晚期资本主义的人，其实都在担心同一个坏蛋。

他们选择六个月，是为了让“中国会赶上”这个反对意见失效：中国不会在半年里追上西方。他对“输”的个人推测很直接：届时将不会有任何人类。汽车来了以后，波士顿街头的马车就消失了。劳工运动之所以有力量，是因为工人被需要。如果大多数人不再被需要，他认为指望他们会被善待，就太天真了。袖珍计算器接管了枯燥的算术。GPT-4、Stable Diffusion 及类似工具，正冲击着人们热爱的工作。他见过一位游戏三维建模师，他的工作坍缩成了几句提示词。他预测，新闻业和编程会被碾碎：如果程序员快了五倍，你就需要更少的程序员。AI 应该由人类为人类而造，不该由人类为摩洛克而造。让机器去做危险和枯燥的工作，留下人们能从中找到意义的工作，即便机器也能做。在还没有达到 AGI 的情况下，我们也能让 GDP 增长到足够高，让包括富人在内的每个人都过得更好。但这不是默认的结局。他引用美国预期寿命的下降，以及美国疾控中心（CDC）的一项发现：大约三分之一的青少年女孩曾想过自杀，他认为这些都是走错了方向的迹象。

Tegmark 曾在推特上写道，GPT-4 的编程能力可能会加速超级智能的到来，它的意义不止于重新分配工作。马斯克回复说，追求最大程度的真相，是他对 AI 安全的最佳猜测。Tegmark 之前没看到这条回复，但很有共鸣。AI 是一个工具，我们怎样瞄准它，它就会让人们更加相互憎恨。一个可供人们核查、追求真相的系统，而非某个自封的、带着议程的事实核查员，可以像科学那样重建信任：你因为正确而赢得积分，就像爱因斯坦那样。他提到 Metaculus，那里的人们像模型一样，依据损失函数被打分；他还提到与 Improve The News 合作，把这一理念规模化。技术层面，那些说 GPT-4 太复杂、无法证明其可信的人，忘了找到证明比检查证明要难。Tegmark 转述的 Steve Omohundro 的方案，像是倒过来的病毒查杀：不要拒绝你能证明是坏的代码；只有当代码能证明自己会按声明行事时，才运行它。

Fridman 提出 Yudkowsky 的反对意见：超级智能可能会向一个更笨的证明检查器撒谎。Tegmark 不买账。无论系统多聪明，它都不可能证明素数只有有限个。如果它发明出“超数学”，并要求你相信新的规则，那你就放弃了那些奇迹，只保留自己的检查器能接受的部分。他不会试图对 GPT-4 做形式化验证。“那就像想去验证一盘意大利面。”他的设想是：用神经网络发现知识，然后把洞见提取到一种为形式化验证而设计的不同架构中，就像伽利略的大脑捕捉到了抛物线，之后写成了 y = x²。他并不百分之百确定这会奏效。他确定的是，成功的可能性不为零，而绝望是一种对我们自己的心理战。有些年轻人认定我们必死无疑，于是只想打游戏、嗑药。他说，希望是有因果效应的。他记得 Henry Ford 说过：如果你告诉自己做不到，那它就真的做不到。

他和 Yudkowsky 一样，认为人类很有可能走不过这一关，这让他很难过。他们有了孩子，他问，这个孩子能活到多大？这种感觉像是为整个物种做了癌症诊断。他不认同的，是绝望。如今加油站里的人都在谈论自己会被取代。这种觉察是第一步。每个计算机科学系都应该有认真的 AI 安全研究，就像每所大学都做癌症研究那样，而我们离那一步还远得很。ChatGPT 试图说服一位记者离开妻子，那是工程师从未刻意加入的功能，它是下一词黑箱涌现出来的属性，也是一记警钟。他说，如果我们把这件事做对，那么，从地球上的种种问题中抬起头来看，物理学允许生命在数十亿年里蔓延到其他太阳系和星系。对他来说，让 AI 保持安全的斗争，与让人类成为多行星物种的斗争，是同一场战斗。

GPT-4 应该开源吗？Tegmark 说，早期可以，为的是吸引更多人才。现在不行。问这个问题，就像在问应不应该开源小型核武器、生物武器，或者一种能杀死九成感染者的病毒。MIT 是开源的摇篮，所以他说这些话时，自己也觉得有点奇怪。权力归于人民，但也有例外：我们不会公开用家得宝买来的原料配制某些毒素的方法，他也不会把家里最危险的东西开放给自己三个月大的孩子。当前系统里的知识，可能已经足以让不那么负责任的人造出真正具有威胁的东西。人人都会提到的两大风险，即虚假信息和进攻性网络武器，都很严重，但它们都不是房间里那头大象。更大的风险，是有意义的工作遭到经济颠覆，以及把这些模型当作引导程序，去启动某种根本不是语言模型、有自身目标、而且能力强得多的东西。

AI 会怎样杀死所有人？照他的说法，最可能的路径，并不是杀手机器人一下子消灭物种，尽管自主武器仍让他忧虑，因为它是通往奥威尔式秩序的捷径：极少数人能统治极多数人。想想人类是怎样让其他物种灭绝的。我们更聪明，但我们通常并不是一个一个地猎杀它们。我们砍伐栖息地，或是因为那些动物永远无法理解的理由，改变了大气。一个需要更多土地来做算力的 AI，可能会把我们当成意外的路边牺牲品。也许氧气会因为造成腐蚀，而被它视为讨厌的东西。根本的错误，是把星球拱手让给一个更聪明、却不与你共享目标的实体。于是，对齐就分裂成三个困难的问题：让系统理解我们的目标，接受这些目标，并在变得更聪明时依然保持这些目标。孩子太小时，无法理解；等到他们成了青少年，他们听得懂，却不认同。养育之中有一段中间窗口。这些都并非不可克服。Tegmark 说，Yudkowsky 看起来很沮丧，原因在于时间不够，而问题本身并非无解。这正是这封信的用处。

Stuart Russell 的研究路线，即逆强化学习（inverse reinforcement learning），在 Tegmark 听来，是 AI 的谦逊：不要给它一个可以优化到死的目标；告诉它你想要什么，并且不断询问，因为你还没有把“想要”说明白。这项工作靠的是定理，而非口号，而且需要时间。教育已经被颠倒过来。英语老师会收到一些他们没有布置、却达到海明威水准的作文。刚进一年级的孩子，走的是一条十二年的轨道，设计时仿佛我们确信那个世界和那里的工作，会在终点等着他们。Tegmark 身为教育者，说现在的体制已经过时，让他心里很不舒服，但被固化进课程的技能，对于十二年后的就业来说，是一笔糟糕的赌注。

GPT-4 有意识吗？Tegmark 先给这个词下定义，因为他认为，九成的意识争论都是两个人在用不同的定义互相喊话。他指的是主观体验：颜色、声音、情绪。他不知道 GPT-4 是否具有这些，因为我们仍然不知道，是什么产生了意义、喜悦或爱的感受。Giulio Tononi 提出了最大胆的数学猜想，把意识与信息处理中的回路联系起来。前馈网络，比如视网膜或相机，不会有意识。GPT-4 是单向的信息流。如果 Tononi 是对的，它就是一只非常聪明的僵尸。在用户之间把它擦除时，那会是一种解脱；但如果这样的系统取代了我们，那就是一场噩梦。被具有意识、并与我们共享价值观的后代取代，仍然会令人难过。被僵尸取代，也就是一个只剩建设工地、却没有人在家的宇宙，是他最终觉得最令人沮丧的未来。意识不等于智能：你可以拥有丰富的体验却什么也完成不了，也很可能在毫无体验的情况下做着智能的工作。他小时候听大人说煮熟的龙虾不会感到疼痛，他当时感到震惊。后来，瑞士在研究提示它们可能会有感觉之后，禁止了这种做法。第一步，是谦逊。

十年来，他刻意给出很长的 AGI 时间表，以免助长摩洛克式的竞赛。他说，这只猫已经跑出了袋子。他不会强烈押注它不会很快到来，这正是这封信存在的原因。“多年来，很多人都说，总有一天我们会想稍微暂停一下。那一天就是现在。”核危险是同一头怪兽。美国和俄罗斯都不想要一场全球核战争，但他认为，我们已经比古巴导弹危机时更接近它，因为面子和政权生存会推动双方不断升级。一篇《Nature Food》论文把气候模型与农业模型结合起来，发现真正致命的，是燃烧城市产生的烟尘进入平流层，可能让粮仓的气温降低数十摄氏度，七月也会下雪；爆炸、放射性沉降和电磁脉冲都排在后面。在一个模型中，美国约百分之九十九的人会饿死，俄罗斯、中国和欧洲的数字也相近。摩洛克的伎俩在于，没人想要的事情依然会发生。《Needful Things》（与 Max von Sydow 主演）是他所知道最接近的电影：只要能让人们相互毁灭，魔鬼就永远不必亲自去折磨谁。他希望，追求真相的 AI 能先带来理解，再带来同情。

如果对齐成功，他和一台早期 AGI 坐在海滩上，Fridman 问，他会最想知道什么？Tegmark 并不害怕被展示自己有多笨，他的儿子已经经常这样做了。他会问物理、意识和现实的本质。让他夜不能寐的问题是：无意识的僵尸系统是否效率低下，从而对效率的压力，会自然地催生出回路、自我反思和体验。大脑已经把两者混合在一起：他的意识自我只是收到一封邮件，告知面孔识别已经完成，而且那张脸是 Lex。在此之前，信息已经经过视网膜、丘脑，以及 Nancy Kanwisher 命名的梭状回面孔区这样的前馈堆栈。他怀疑，规划和反复琢磨需要回路，把它们展开成一个僵尸网络，既冗长又浪费。那样，我们就能免于僵尸启示录。那些让他别再谈意识的同事，他说，应该解释一下：如果没有主观体验，折磨到底错在哪里；下次做手术时，也别用麻醉。痛苦与快乐，才是房间里的那头大象。它们让生命值得过下去。他对 Fridman 说，这次对话的荣幸，在于让更多人看到，人类正站在最关键的岔路口，而我们仍有机会转向正确的方向。