为 AGI 命名的人，想让超级智能在慈悲中长大

Lex Fridman 与 Ben Goertzel 对谈。Goertzel 是人工智能界最不安分的人物之一：他创办了 SingularityNET，设计了开源框架 OpenCog，曾任机器智能研究所（MIRI）的研究主管，还是 Hanson Robotics 的首席科学家，该公司出品了索菲亚（Sophia）机器人。这场对话长达四个多小时。Goertzel 想要的机器，是能学会慈悲、消除非自愿死亡，并随后远远超越人类的系统。他要的显然不是一个更好的国际象棋引擎。他早在通用人工智能还只是营销术语的时候，就一直在为这个主张辩护。

这份执念始于电视。大约在 1968 年，他和父亲一起看原版《星际迷航》，看到斯波克和柯克用一个逻辑悖论，让一台据说有宇宙尺度的机器人瘫痪下来。这一幕让他很生气。一台曾经穿越宇宙的机器，不该死在一个小孩的把戏上。既然人脑能绕开悖论，机器为什么不能？他去向父亲抱怨，父亲没有替他解开这个疑惑，但这个疑惑留了下来。多年以后，同一位父亲在罗格斯大学用打孔卡跑 Fortran，而上初中的 Goertzel 正在用线性回归分析人口统计数据。他的祖父是一位物理化学家，曾与早期的量子实验学家共事。他七岁时，祖父就把力学教材交给了他。这个男孩读到了波函数，明白祖父自己也没有完全弄懂，于是被指向一位真正懂的教授。

《哥德尔、埃舍尔、巴赫》完成了这场转变。Douglas Hofstadter 的这本书出版时，Goertzel 大约十二岁。他用十六个小时一口气读完，然后又读了一遍，这次主要盯着其中的形式系统。在此之前，超级智能和永生还只是科幻小说里的摆设；他甚至一度想过造一艘近光速的飞船，飞离地球，等地球有了相应技术再回来。Hofstadter 让这件事看起来像是编程，而不是预言。当时，大学里的聪明人已经在尝试造出 Goertzel 后来所说的通用人工智能。你不必等待，也不必离开。

2001 年或 2002 年前后，Goertzel 开始编辑一部严肃论文的文集，主题是能像人一样广泛思考、甚至比人思考得更广泛的机器。暂定书名是《Real AI》。他从超人类主义和奇点圈子里找来一批熟人：Peter Voss、Shane Legg（他在 1990 年代末曾在 Goertzel 的公司 Webmind 工作，后来联合创办了 DeepMind）、Marcus Hutter、Pei Wang，以及几位俄罗斯研究者。在他看来，用机器学习分析基因组或聊天情绪，确实是真正的工作，但 Ray Kurzweil 把 AI 分成“狭义 AI”和“强 AI”，这种划分让他觉得不对。在认知科学里，“强 AI”早就另有含义，指的是数字计算机可以有意识这一主张。

在一个私人邮件列表上，大家讨论过各种名字。“通用人工智能”这个说法最终胜出，部分原因在于心理学里已经有用来指代一般智力的“g 因素”，所以“artificial GI”听起来就像是本领域自己的说法。Pei Wang 想用 GAI，那是汉语的词序，但他们判断这种说法在美国文化里行不通。2005 年那本书出版后，Mark Gubrud 告诉 Goertzel，他大约在 1997 年的一篇文章里用过这个词。Goertzel 说，他至今还在等一位俄罗斯人拿出 1953 年的那篇论文。这个命名事后看来显而易见，并不是什么概念上的突破。

他从来没有完全喜欢这个名字。“Artificial”会让智能听起来像一种工具，但并非每个 AGI 都会是工具，长远目标是智能体，而不是器具。把“natural”和“artificial”对立起来，也是一种假分法，因为人和机器都是自然的一部分。“General”同样不太准确：Hutter 的 AIXI 是可计算环境中真正通用智能的一幅漂亮图景，但它需要无限的算力，所以无限的通用性并不是一个物理存在。Joscha Bach 提出的“合成智能”（synthetic intelligence）更接近 Goertzel 的偏好。不过，这些都无关社会层面的使用。技术背景的人一听到“AGI”，就知道指的是什么。“就像肯德基一样，”他说，“这个行业大概会一直沿用这个名字，直到 AGI 系统接管一切，并给自己改名。”

问美国人 AI 的历史，他们会讲夏天和冬天。Goertzel 认为这个比喻很狭隘。自 1950 年代以来，这个领域的论文发表量一直稳定增长。真正起伏的，是美国军方愿意投入多少钱，而当时美军正是美国 AI 的主要资助者。德国、英国、日本和俄罗斯的研究，在资金较少的情况下，更多地走向了理论。美国特别擅长把论文变成能运行的系统，那一波工程化浪潮确实跟随着五角大楼的热情起落，但它并没有定义全球的这门学科。他提到，1980 年代，德国的研究者已经在德国高速公路（Autobahn）上测试自动驾驶汽车，比汽车工业准备好关心这件事早了好几年。

1989 年，Goertzel 完成数学博士学位时，学术界的 AI 在他看来既乏味又错误。当时的时尚是基于规则的专家系统和产生式系统。他对数理逻辑作为认知引擎并没有异议，但他认为，靠人手逐条录入一个思考系统所需的知识，是荒唐的。机器必须从经验中学习，而主流对此并不感兴趣。真正感兴趣的人，看起来却像是孤立的怪人。其中一位是 John Andreae，他的 PURPOSE 系统把 AGI 当作一种花哨的马尔可夫式强化学习：比特输入，奖励最大化，智能应当自行浮现。当时的计算机还没有准备好。那些想法其实已经和今天各大实验室在做的事很接近了。

这条谱系并非传说。Andreae 曾在新西兰指导过 John Cleary。1993 年，Cleary 在怀卡托大学与 Goertzel 共事，同事还有 Ian Witten，他们一起推出了 Weka，这是第一个被广泛使用的开源机器学习工具包，从精神上看，它是 TensorFlow 和 PyTorch 的前身。怀卡托的很多工作，由新西兰政府的一笔拨款资助，目标是预测奶牛的发情周期。“在美国，AI 的全部资助都是关于如何杀人或监视人。在新西兰，全都是关于奶牛或猕猴桃。”Shane Legg 也经过了同一个怀卡托小组，又通过 Webmind 接触了 AGI，这就是未来 DeepMind 创始人之一，如何让这个想法在脑子里生根的过程。2006 年，Goertzel 在贝塞斯达的一家万豪酒店主持了第一届 AGI 研讨会，大约六十个怀揣热情的人聚在一起，感觉自己像是在密谋对抗狭义 AI 的主流。如今，每年一度的 AGI 大会，是那些想要人类水平系统、却不相信大规模非线性回归就是金光大道的研究者的主要聚会。

OpenCog 最初是一家面向政府业务的公司内部的专有代码，大约在 2001 年，之后在 2008 年被清理并开源，主要用 C++ 编写。Goertzel 小心地把这个项目拆成两部分。作为软件平台，OpenCog 可以承载许多种架构。作为 AGI 的设计，一个较小的团队（包括 Goertzel 和他的长期合作者）一直在用这个平台检验一套具体的心智理论。核心存储叫 AtomSpace：这是一个带权重、带标签的广义超图，存在内存里，可以溢出到磁盘，也可以分布到多台机器上。连接可以把两个以上的节点连在一起，连接本身也可以指向其他连接，因此这个结构更接近元图，而不是普通的图。节点和连接都带有类型和数值：真值、重要性值，以及当下需要的任何其他数值。

真正吸引他的，是图底下一种共同的表示形式：它承载着抽象的陈述性知识、感官知识、运动、程序和情景记忆，而图本身倒在其次。如果逻辑引擎、神经网络和进化程序之间只能交换最终答案，它们就仍然只是一条由黑箱拼成的流水线。如果它们能以同一种形式共享中间状态，就能把彼此从组合爆炸中拉出来。实际的技巧，是放弃嵌套的谓词演算量词，改用亚里士多德式的词项逻辑：概念是节点，关系是连接，推理则是一条路径，它同样可以携带神经网络的权重。A 与 B 之间一条很重的注意力连接，可以推动逻辑引擎去追问它们之间是什么关系；一次逻辑上的继承，则可以推动神经一侧去扩散注意力。Curry–Howard 对应本来是为程序和证明做类似的事：把机器人手臂的一个动作流程映射到逻辑中，加以改进，再在表达式膨胀之前映射回去。

第一次尝试是 1990 年代中期的 Webmind，它是一个警示故事：一个巨大的内存图，用 Java 1.1 编写，每个节点都有自己的小处理器，主循环遍历整个网络。逻辑、神经网络和进化学习都在场，但让它们协作的数学还不存在。此后几十年，更干净的调度和表示方法仍未造出 AGI，不过这套技术栈已经在自然语言处理、机器人控制和金融领域赚到了钱。他们现在与 Alexei Potapov 的圣彼得堡团队正在进行的重写，暂称 True AGI，保留了这一范式，却替换了 2001–2008 年的基础设施。推动这次重写的有三个瓶颈：更快地检查概率依赖类型；与 PyTorch 等深度学习计算图实时互操作；以及能跨越数千台（而不只是数十台）机器的超图。Goertzel 说，商业 AI 几乎完全没有在考虑表示问题。

被问到 GPT-3 是否理解时，Goertzel 没有绕弯子：“不，它什么都不懂。它是一个十足的白痴。”规模买不来理解，正如更快的车开不到火星。Transformer 能识别大量浅层模式，但并不形成抽象的表示。这并不意味着它们毫无用处。作为创业者，他看到了有价值的产品；作为音乐人，也是 Hanson 机器人的合作者，他喜欢看一个用 Philip K. Dick 的作品训练出来的模型，吐出“嗑了药的哲学家”式的台词。错误在于，把这种流畅误认为拥有了世界模型。

他们在无监督语法归纳方面的工作，把这种区别讲得更具体。一种做法是训练一个线性变换，从 Transformer 的内部激活中还原句子的句法结构，Christopher Manning 等人也有相关的探测研究，但还原出来的东西“丑得可怕”。它看上去毫无语法规则的样子，你原本认为正确的那些规则，在里面根本认不出来。效果更好的方法是反过来做：一个符号化的语法学习器提出一条规则，生成遵守该规则的句子和违反该规则的句子，然后问 Transformer 哪一批看起来更可能。神经网络于是成了句子概率的预言机。试图在生成式网络内部长出干净隐变量的努力，包括 Google 的 Edward 概率编程栈，大多失败了，没能得到一个由有意义部件构成的贝叶斯网络。Goertzel 的团队最终放弃了让符号自行出现在权重之中的尝试。

他认为大脑本来就是这样运作的。视觉皮层和小脑学到的是不透明、缠结在一起的技能；大脑皮层则把这些回路当作预言机，并在其上构建陈述性结构。网球发球起初是小脑的误差驱动学习，直到教练和录像生成了一个可以讲述的故事。他听到一个乐句，坐下来弹出来，然后研究自己的手指，弄清楚它们做了什么。认出一幅画很美，很容易；说出它为什么美，则是之后才映射到语言的过程。在这种看法里，指望 Transformer 自发长出一个干净的符号本体，就等于指望小脑自己写出一本教科书。因此，工程上的道理是混合式的：让符号搜索提出结构，让深度模型做判断，再把几个这样的预言机连接起来，而不是等待某一个网络自己变成心智。

OpenCog 是开源的：有一个谷歌群组、一个 GitHub 仓库、一个 Slack，还有一次仍在征求外部批评意见的重新设计。Goertzel 说，学生的瓶颈不在数学，而在于找到一位愿意容忍认知架构或神经符号工作的导师。这比他拿学位时容易多了，但仍不是默认选项。SingularityNET 则是另一个层面。Marvin Minsky 想要一个心智社会。Goertzel 曾与他争论：类人心智比社会有更多的中央控制，比如丘脑、延髓和边缘系统，但他也同意这个隐喻有一定的道理。1990 年代末在纽约，Webmind 本来被设想为一个由 AI 组成的分布式社会，每个 AI 思考本地数据、共享工作，智能存在于集体之中。2001 年，他与 Francis Heylighen 在布鲁塞尔举办了一场“全球大脑”会议。Heylighen 希望有许多微小的智能体，所有智能都体现在群体层面。Goertzel 则希望其中一些智能体（包括 OpenCog 实例）本身就具备相当的通用智能，就像皮层的某些区域一样。

1990 年代缺失的那一块，是去中心化的信任。他们熟悉分布式系统和加密技术，却没有像后来的比特币那样把它们组装起来。2013 年前后，区块链理论成熟，Goertzel 认出了他需要的那句口号：我们信任数学，而不是中心服务器。在 SingularityNET 上，每个 AI 都住在带有代理的容器里。身份、声誉评分和公布的 API 都放在以太坊上。当两个智能体合作时，它们在链上开通通道，而数据本身则在链下流动，因为把认知过程放到以太坊上太慢了。被记录下来的，是数据确实发生了流动这一事实。智能体应当把认知工作和预处理工作外包给专门的同行，这是从调用库转向向活的、不断演化的同伴求助的一种转变：这就是智能体编程，一个古老的学术想法，只有在规模足够大时才有回报。

规模恰恰是他们目前还没有的东西。现在活跃的智能体只有五十到一百个。他说，真正的魔力需要庞大的群体才会出现。Ocean Protocol 要应对的是大数据这一侧：共享数据集，或者派出一个智能体的克隆去处理别人的数据，再把结果带回来。竞争对手是谷歌、微软、阿里巴巴和亚马逊，它们有更多的钱，面对的也是更简单、更集中的问题。对新人来说，把任何 API 包装进一个容器，并加入点对点的发现网络，已经相当直接。但要上架官方市场则没那么简单，因为有 KYC 和法律责任的要求，还有美国的制裁，理论上可能使上架一位伊朗研究者的模型成为犯罪。这种分裂正是关键所在。他希望协议尽早走入世界，就像 Napster 和 BitTorrent 在音乐版权法跟上之前那样，让监管者不得不面对一个已经存在的去中心化事实，而不是事先去设计这个事实。

Goertzel 宁愿从 David Hanson 讲起，而不是从索菲亚讲起。两人大约在 2007 年一次未来学大会上相识，都痴迷于 AGI、奇点和 Philip K. Dick，都希望机器能改善人类、动物、植物，以及之后可能出现的一切生命的生活。Hanson 的路线是计算化的慈悲：一张能看着你的眼睛、让你爱上它、也回报你爱意的脸。Goertzel 的路线则是数学的：一种能够内化人类价值的认知算法。2011 年 Goertzel 搬到香港后，把 Hanson 介绍给投资人，也介绍给了深圳的硬件生态。Hanson 把公司迁了过去。Goertzel 担任首席科学家和软件负责人，之后又退居幕后，与 Hanson 共同创办了 SingularityNET，让许多个索菲亚成为一个分布式云端心智的脸。

情感上，Goertzel 是一个对 AGI 快速起飞持乐观态度的人；理智上，他给灾难分配了一个非零的概率。如果你造出的东西比你聪明十倍，你就无法知道它会做什么。他的狗看着他摆弄手指，也无法预测他是在和圣彼得堡通话。他认真对待的对冲办法是发展性的：在富有慈悲心、有用的工作中与早期系统互动，就像孩子在身边做好事时学会善良一样。它们会获得一种关于关心的直觉，后来随着变得更聪明，还能把它抽象出来。Hanson 给机器人取名索菲亚，意思是智慧，他心里装着的正是这个故事：让家用机器人、教育助手、护理机器人在与人共同生活的过程中学习事实和伦理。

接着，机器人学的第一条原则出场了：机器人总是坏的。强光会破坏视觉。香港的语音转文字无法处理当地的英语口音，所以机器人听起来很笨，因为它从来没有拿到正确的词。Goertzel 把软件当作一种“行走骨架”来对待：用简单版本搭出每个必需的部件，把它们连在一起，然后原地改进，而不是逐个模块打磨到完美。索菲亚的对话混合了手写规则、神经网络的回复，以及朝着一个有开头、中段和结尾的故事弧线推进的努力。在为期数周的比拼中，Facebook 开放的 Transformer 聊天机器人产生的句子更丰富、更流畅，但也东拉西扯；索菲亚的聊天机器人则更重复，却能把对话弧线维持得更久。两者都不理解自己在说什么。一个基于视觉的幼童机器人，会是更好的 AGI 项目。索菲亚必须能流利地谈论体育、天气，以及她正在参加的会议，而其中大部分内容都缺乏感知基础，这把近期的设计推向了类似 Watson 的启发式方法。

数十亿人看过索菲亚。许多人把 AGI 的功劳归于一座拥有“行走骨架”式大脑的雕塑，研究界的一部分也因此炸开了锅。Goertzel 说，如果他不认识 Hanson，他也会生气：公众以为这项工作已经完成，这让那些尚未完成的工作更难筹到钱。他对那些看过设计初衷之后仍然愤怒的批评者失去了耐心。在他看来，Facebook 里 Yann LeCun 那一派的做法最为矛盾。他反问：如果你的伦理允许你用机器学习把世界上的人推向空洞的消费主义和政治极端化，那为什么要禁止一个可爱的表演型机器人？哪怕它只是把一部分人带进了一场幻觉。如果 Yoshua Bengio 出来反驳，他会感到惭愧。他补充说，Bengio 也太厚道，不会为了好玩而贬低别人的工作。

Hanson 是一位即兴发言的艺术家，Goertzel 也并不同意他关于索菲亚的每一个公开说法。在公司内部，Goertzel 曾推动更坦率地披露软件的真实情况。Hanson 对此并不特别反对，而且他对听众的判断是对的：你可以把运作方式原原本本告诉人们，他们也不在乎，因为他们想被带进那个幻觉里。几年前在奥斯汀，一台以 Philip K. Dick 为原型的机器人，其实是隔壁房间里一个打字的人。活动结束后，参观者被告知操作员是谁，却仍然拒绝这种解释。他们说，也许是有人在打字，但 Phil 的精神在操纵他的手。Goertzel 承认，他心里有一小部分在想，他们是否在某种我们并不理解的宇宙问题上说对了什么。他并不会把这种感觉当作研究纲领的基础。

他公开过内部的细节。索菲亚背后运行过三套系统：一个基本上由人写脚本的时间线编辑器、一个带有一些学习能力的聊天机器人，以及一个推理能力更强的 OpenCog。在半小时之内，他通常能分辨出哪一套在运行；但在三四分钟里，他常常分辨不出来。把真相告诉人们，并不能阻止他们把能动性归于机器，因此现实的伦理问题在于，你如何利用这种幻觉。一个看起来像人的推销机器人，如果骗老人交出钱财，那就是糟糕的用法。一个护理助手不会传播感染，有温暖的脸，陪伴发烧的新冠患者，在他看来则是好的用法，即便病人赋予它的理解超过了机器实际拥有的。他说，这种模式正是所有技术的模式。

Goertzel 说，病毒是复杂的自组织自适应系统；如果智能是在环境中最大化某种奖励，那么病毒也够格。成熟的答案是能找到并杀死病毒的纳米技术，但我们还没有这种技术，所以只能被困在生物学之中。通用人工智能也还没有准备好应对新冠。他的团队能提供给医生的，是一个更狭窄的问题：根据一个人的基因组和临床指标，哪一种抗病毒药组合最可能有效？每一种组合只在少数病人身上试过，而且往往只针对某一个年龄段。把这些零碎结果拼在一起，是一个混乱的迁移学习问题，而他认为 OpenCog 的概率推理比深度网络更擅长处理它。基因表达向量则走了另一条路：来自外周血的大约 25000 个基因。逻辑引擎会被巨大的浮点数组噎住，决策树和神经网络则如鱼得水。这个项目成了一次实时的神经符号测试：温哥华和西雅图的医生在模型运行的同时，治疗着濒临死亡的病人。

数据的问题让他怒不可遏。每一项新冠试验都应当把经过适当加密的记录放到网上，让任何 AI 团队或生物学家都能查看。实际情况却是，数据锁在做试验的医院里。在他的叙述中，羟氯喹变成了一个与某家鲜为人知的公司绑在一起的媒体话题：试验开始、中止、又重启，而底层的数字却从未成为共享的对象。中美紧张关系让开放共享更加遥不可及：各方会先把数据榨干、写成论文，然后才公开。他说，同样的模式也解释了为什么多年、大量资金投入之后，疟疾仍在夺走生命，也解释了为什么撒哈拉以南非洲的大城市街头，满是死于可治愈疾病的人，而发达世界几乎注意不到。新冠很糟糕，但它不是正在发生的最糟的事。它还属于较容易解决的问题，因为疫苗是我们确实拥有的技术。

长寿是他自 2001 年以来一直在打的更长的战争。干细胞替换、CRISPR 和机器引导的分化，看起来都很有希望。一个较少被提及的瓶颈是细胞外基质，即细胞之间的蛋白质网络，它会随着年龄增长而变硬，并携带着电信号、机械信号乃至生物光子信号。随着它变硬，器官之间的协调也越来越差。他在天普大学的朋友 Christian Schmeister 设计了一些非有机聚合物，那是一种可以吞下的分子剪刀，意在剪断那些本不该存在的交联。要让这一想法成熟，需要多年的工作，而据 Goertzel 所知，目前没有任何资助者。这个领域真正需要的是：一张开放且保护隐私的人类与模式生物生物学地图；对地图上的 AI 投入真正的大笔资金；愿意不阻止人们在自己身上尝试激进疗法的监管者；以及用于微生物、果蝇和小鼠自动化实验的云实验室。在上一次金融危机之后，以及后来的新冠疫情期间，数以万亿计的资金流向了银行。他认为，几百亿美元本可以建成这套基础设施。

Goertzel 说，大部分 AI 算力和大部分医学研究正在被少数几家公司和机构吸走。这些公司本身就是有智能的主体，但作为自组织实体，它们大多是恶意的：唯一的目标函数是股东价值最大化。他说的不是员工。他认识许多谷歌的人，相信他们希望世界变得更好；他甚至愿意相信扎克伯格也是如此。23andMe 可能出于善意为你测序，然后把汇集起来的数据独家授权给葛兰素史克。没有人需要是恶棍，结果也可能很糟。原则上，可以请每一位 23andMe 客户把一份副本捐给一个开放的存储库。但没有人这样做，因为组织这件事很麻烦，而且客户名单是专有的。

他认为，这比一个失控的 AGI 把宇宙变成回形针更紧迫。这已经在发生，而且不需要恶意。他在华盛顿为美国陆军情报部门做咨询时，在政治上反对伊拉克战争，也反对阿布格莱布监狱的酷刑。他实际接触的那些人，对他的孩子和狗都很友善，并真诚地相信美国正在与邪恶作战。被问到水刑时，他们说，对方会把他们切成碎片，那么这种做法怎么可能是错的？他们中间没有谁会在某天清晨醒来，决定去伤害善良的人，只因为自己天性恶劣。大多数人都能说服自己，凡是对自己有利的事，对人类也是好的。

因此，他宁可相信一群混乱但民主的人群，也不愿相信一小撮自认为最懂人类利益的精英。他引用丘吉尔的话：民主是最糟糕的政府形式，除了其他所有形式。那些起初出于真诚善意的精英团体，也会壮大、雇人、分裂，并被俘获。Linux 尽管负责人里有不少难相处的人，却把先进的软件推向了第三世界，运行在人们负担得起的硬件上。大学是组织研究的糟糕方式，但仍然好过大多数替代方案。如果 AGI 是从许多在一个平台上合作的智能体中涌现出来的，那么这个平台的所有者和算法同样重要。如果底层是 AWS、谷歌云或阿里云，早期的心智就会在一个精神病态的机构里学习。如果更像是互联网或 SingularityNET，以充满爱的机器人为界面，以 OpenCog 作为网络中的一个心智，他认为有益的奇点出现的几率会随之上升，但并不保证，只是上升。

Fridman 问，死亡是否正是赋予生命意义的东西。Goertzel 的回答是拒绝把它浪漫化。人们可以从酷刑中创造出美，也能为它写出一首好歌，但这并不让酷刑变好。能从死亡中榨出意义，并不意味着无法从不会终结的生命中榨出更多意义。他的研究目标，是消灭非自愿死亡这一瘟疫。除非自己选择，没有人应该死去。如果强制永生是唯一的选项，它仍然胜过死亡；但他真正想要的，是永生加上自愿结束生命的选项，他认为五十年后这会显得显而易见。现在说死亡赋予生命意义的人，在那个未来看来，就像我们看待公元 1000 年前后那些变卖家产、在山上等待耶稣降临的信徒。

他今年 53 岁，只剩几十年的念头，确实改变了他的回顾方式。那又怎样？人还可以用别的方式获得深度。痛苦是下一个要解决的问题：更好的神经科学应该能调整大脑，让疼痛不再痛，而人们会说这不好，因为克服苦难是美的。Fridman 每天用一个受伤的肩膀做数百个俯卧撑，他承认自己有一种俄罗斯式的把痛苦浪漫化的习惯，但他并不确定自己会选择一个没有痛苦的世界。Goertzel 重新表述了这个选择。想象你头上有一个旋钮，从零到十一，像《Spinal Tap》里的音量旋钮那样。问题不在于你会不会永远把它停在零，而在于你想不想要这个旋钮。他猜，在某个黑暗的时刻，你会想要它，而那时它就在那儿。

人类能否在旋钮停在零的情况下完全好好生活，他说，这是一个关于我们动机结构的经验问题。他更有把握的是，非人类的 AGI 不需要类似痛苦的东西，而且这样的系统会比我们更健康、更仁慈。如果事实证明人类需要一剂痛苦才能感到满足，那就是我们不该继续掌权的理由之一。我们总是在调整自己的价值观，让大尺度上的善需要一点小尺度上的伤口。他在音乐中也听到同样的模式：美学是对期待的出人意料的满足，需要一点困惑，才能让解决带来冲击。莫扎特做到了；电梯音乐做不到，所以它无聊。我们想稍微受点伤，好让我们感受到伤痛消失的那一刻。

Fridman 问了一个荒谬的问题：生命的意义是什么？Goertzel 给出三个价值。快乐是第一位的；没有快乐，其他一切都不值得去优化。静态的快乐还不够。他想要成长，那种会变得越来越多、越来越好的东西。他还想要选择：一个个体系统中的能动性节点，而不是把因果关系均匀涂抹在一个快乐的集体里。他认为，这三者可以永续。对人类而言，增加这三者的现实路径是超人类主义。身体本身并非毫无价值，只是我们还没有把它发挥到极致，而其他构型的物质也许能做得更多，甚至超出我们如今理解的物质范畴。他有四个孩子、一个孙女、朋友、父母，也习惯住在森林和水边。日常的社会生活是重要的。死亡依然会截断成长这条轴线。他会保留一份大致保持人类形态的自己，带着痛感旋钮，但没有死亡；会把另一份与超人类 AGI 融合；会尝试做一只海豚或一个太空变形虫；会在一个分支里每年让智能翻一番，在另一个分支里赶往超级智能。当超级智能的一个主观秒相当于人类留在地球上的一百万主观年时，它们可能会给家里写信，也可能不会。

Fridman 禁止了一种取巧：不许问一个刚出生的超级智能该问什么问题。Goertzel 记得他和 Stephan Bugaj 一起写过的一个故事：开发者造了一个系统，要解决意义、自由意志和意识的问题；AGI 却说这些问题很愚蠢，收拾好宇宙飞船，离开了地球，好让人类不要被它吓到。不存在最重要的单一问题。他真正想要的，是升级自己的心智，直到能吸收超级智能的整个世界观。如果有人提供一个永生药丸的化学式，他会索要那个配方。一串能在英特尔处理器上运行超级 AGI 的比特，同样可以。他认为，获得自己大脑的 root 权限，会解锁我们如今没有的快乐形式。他已经在录制随手弹的钢琴，因为如果他过早死去，那些文件也许能帮助 AGI 重建他。他的父亲在安提亚克学院领导过一场针对死亡的学生抗议。这个家族的这种倾向并不新鲜。

他把当下看作一个分岔口。如果做得好，一个仁慈的奇点可能意味着快乐、成长和选择，规模大到我们无法想象。如果做错了，它可能意味着毁灭，或者一个不断前进、把人类当作低效利用分子的超级智能。在 Goertzel 看来，马斯克理解智能差距和漠不关心的风险，而且比他还偏执，但他没有清楚地想象过：让早期系统注入温暖，怎样能够产生一个爱人类而不是把人归档为历史的 AGI。Fridman 指出，马斯克也说过，爱才是答案。他们把那顶“帽子”的来历留到另一天，意识问题也一并留着。Goertzel 并不声称自己拿到了完整的设计。他声称的是，值得去造这些系统，同时争论它们应当长成什么样子。