机器绝不该把自己的目标奉为圭臬

1975 年，Stuart Russell 还在读高中，每周三都要抱着一盒打孔卡坐公交车去帝国理工学院。机器每次只给学生 8 秒的 CPU 时间，其中 5 秒用来读卡和编译代码，剩下 3 秒。这 3 秒只够一个国际象棋程序用 alpha-beta 剪枝搜索 8 ply（即 8 个半步）走一步，再加上一些自己写的走法排序和剪枝。然后棋步打印出来，他们就得回到队尾，重新排队把卡片送进去。

这个程序从来没有赢过他。他年轻时的棋艺还算不错。后来他又写过奥赛罗和西洋双陆棋的程序，并且在伯克利花了好几年研究他所说的元推理，也就是对推理本身的推理。博弈树的规模比宇宙中的原子数还要大，程序和人都是靠只看其中很小一部分来取胜的。看对了那一部分，就能下得好；把时间浪费在永远不会发生的走法上，就会输，因为你算不出正确的决定。

他总结出的规则近乎严苛。机器应该只思考那些能提高决策质量的念头。如果你已经确信一部电影很烂，再花时间去证明它烂就没有意义，因为判断不会改变。思考的存在，是为了改变你在现实世界里该怎么做的决定。面对一步必然和棋的走法，和另一步平均看起来更差、但仍有可能获胜的走法，值得思考的是后者。思考的价值，等于一条路线看起来有多好，乘以仍然存在的不确定性。不确定性越大，上行空间就越大。

Russell 说，同样的选择规则也体现在 AlphaGo 和 AlphaZero 中。搜索树的上层一切都笼罩在不确定之中，所以搜索很宽，会尝试很多方向。真正糟糕的走法很快就会露出马脚：要么丢掉一半棋子，要么丢掉一半地盘，然后被放弃。再往下，搜索树变得又长又窄，沿着 40、50、60 步之后的变化一路算下去。人类做不到这一点，主要是因为短期记忆装不下 50 步的变化，也无法在脑中想象走完之后的棋盘。

这里有两种学习在起作用。一种是评估：看一眼棋盘，就能立刻判断它有多大希望，看上去已经达到超人水平。另一种是向前看。Russell 的观点是，前一种更了不起。把搜索完全关掉，只做一层搜索，即只考虑每一步合法走法并给走完后的局面打分，这个版本的 AlphaGo 仍能下出职业水平。职业棋手要坐上五到十分钟，而网络在不到一秒钟内就直觉地找到了正确的走法。人类对围棋并没有这种直觉，只能一步步去想。

比起神话中的描述，他对特级大师模式识别的看法没那么浪漫。他认为，大师能可靠、瞬间地认出正确走法和局面价值，这种说法有点被高估了。Bobby Fischer 那些弃后的对局，看上去像是坏棋。最先浮现的是一种感觉：这个局面的某处可能藏着胜机，即使走法看起来很怪，因为它打开了原本走不通的计算路线。然后再沿着强制性的变化一路算下去。即使是特级大师的对局，人们也会漏掉那些明明摆在那里、只是不太显眼的三步、四步或五步组合。

奥赛罗程序在经过包括学习在内的元推理改进之后，给人的感受更加直接。Russell 第二天坐下来，就能感觉到它变聪明了很多。它更有攻击性，对任何小失误都毫不宽容，而且看上去比他更懂这盘棋。Garry Kasparov 在与深蓝（Deep Blue）的比赛中说，他突然觉得棋盘对面出现了一种新的智能。Russell 认为，在国际象棋的语境里，这种感觉令人兴奋，而不是令人害怕。这也是他投身 AI 的原因：一旦弄明白计算机是什么，他就想让它变聪明。

他的第一台机器是一台辛克莱可编程计算器（Sinclair Programmable Calculator），只能容纳一个 21 步的算法。他用它实现了求平方根的牛顿法，又做了几个别的算术小技巧，然后想：要是有更大的空间，我就能让这东西变得有智能。国际象棋程序本身并不值得害怕，它们并不想统治世界。但如果往外推演，它与真实世界之间的差异就开始重要了。我们知道国际象棋的规则，棋盘完全可见。而真实世界的大部分，从你所坐的位置是看不见的，要克服这一点，需要性质完全不同的算法。

时间尺度是另一个差距。人们经常规划的时间跨度，会折算成几十亿甚至几万亿个运动步骤。比如在伯克利读一个博士，要承诺五年时间，相当于大约一万亿次控制动作：上楼梯、开门、喝水，还有写论文时敲下每个字符时的每一次手指动作。你不会提前去承诺这些基本动作，但你的推理，仍然是在一个最终会落到这些动作上的尺度上进行的。深蓝和 AlphaGo 并不是对人类的威胁，它们只是迈向这种威胁的一步。按 Russell 的描述，AI 的进步，就是一层层去掉那些让问题变得容易的假设。去掉完全可观测这一假设，就需要能追踪自己看不见的东西的机制，而且不确定性不会消失。每去掉这样一个假设，AI 系统能做的事情的范围就会放大约一千倍。

Fridman 还记得过去的普遍看法：围棋我们永远也解不开。Russell 当时会说，国际象棋那套算法不太可能只靠规模扩大就管用。当时的工作设想是，围棋必须用人类处理它的方式来对付：把棋盘拆成几个弱相连的子博弈，分别分析每个区域，再把这些分析耦合起来并加以修正。把棋盘分成五块、六块、七块，甚至十块。这种结构比国际象棋更像现实世界。工作、家庭、运动、购物彼此相连，但联系很弱。你在敲论文的时候，并不会同时决定先买牛奶还是黄油。不过你确实得在商店关门前办完，因为家里已经没有吃的了。

当初的希望是，解开围棋会推动那些对现实世界有用的东西的进步。从某种意义上说，AlphaGo 有些令人失望。这个程序和深蓝相差并不大，甚至和 Arthur Samuel 在 1950 年代写的跳棋程序也差不多。让它管用的，是那惊人的评估能力，加上对哪些路线值得深入探索、哪些应该迅速放弃的更好判断。Russell 说，从技术上讲，“元推理”确实是正确的词，但它容易让人高估其中到底有多少“推理”。

他认为，1980 年代末的符号主义 AI 寒冬，并不是一出简单的道德剧。1980 年代中期，业界曾集中力量把专家系统推向现实世界。大多数情况下，技术并没有准备好。许多系统在做不确定性推理，比如判断、证据组合和诊断，所用的方法却根本站不住脚。小问题可以蒙混过去，一放大，系统就垮了。公司还被要求花 5 万到 10 万美元购买 Lisp 机工作站（按 1980 年代的钱算），如果按现在的币值，则是 15 万到 30 万美元。账面上往往看不到利润。当时每家大公司都在设立 AI 部门，和现在一样。Russell 目前的警示幻灯片分为两部分。一句是：数据与其说是新石油，不如说是新的骗人把戏（snake oil）。另一句是：某个旗舰应用出现了非常显眼的失败，而他认为，自动驾驶汽车就会是那个旗舰应用。

第一辆自动驾驶汽车在 1987 年就已经能在高速公路上变道、超车。三十多年过去了，Russell 说，情况看上去仍与我们今天的状况很像：原型车在高速上变道、超车。进展是真实的，尤其是在感知方面。1990 年代初至中期，伯克利曾让国会议员坐上自动驾驶汽车，在高速上飞驰。在模拟环境里，如果感知完美，即使其他车辆表现不当，车子也能长时间安全行驶。但用于识别车辆和追踪行人的机器视觉，在恶劣天气、夜间和雨天里，始终没能达到足够高的可靠性。拿来做演示足够了，却还不足以覆盖一般情况。

算一笔账。一个出租车司机每天开八小时、开十年，大约就是 1 亿秒的驾驶，其中任何一秒都可能酿成致命失误。这意味着八个九的可靠性。如果视觉系统能识别 98.3% 的车辆，那只是一个多九，还差七个数量级。人们看到一次成功的演示，就以为差不多了。其实他们连七个数量级的范围都还没进入，离完成还远得很。沿着白线横穿全国，并不是难点。真正麻烦的是那些怪事：极端情形，以及其他司机做出的各种奇怪举动。

谷歌早期的架构是经典式的：机器视觉识别汽车、行人、白线和标志，把它们塞进一个逻辑数据库，再交给一个 1970 年代式的基于规则的专家系统。比如，假如你在中间车道，而右侧车道的骑车人打出了某种信号，那就这样做。每天他们都出去，又会碰到规则没有覆盖的新情况。比如一个小女孩骑着自行车逆向绕行环岛，没有现成规则。停车，加一条规则。第二天又出现新的漏洞。这种方式并不收敛。国际象棋程序一直处在这种状态中：新的局面、可能的行动、结果、价值判断，然后挑一个。1990 年代，Russell 的团队就已经主张，车辆需要向前看。驾驶中的向前预判比国际象棋更难，因为其他参与者是人，而你甚至不知道他们的意图。这个司机是要左转，还是忘了打灯，还是喝醉了，或者在调收音机？你必须估计对方的心理状态，才能预测轨迹，然后为自己挑出最安全的一条路，而对方还会对你的动作做出反应。汇入高速公路，就像是一场不确定谁先走的竞速。

由此推出的决策架构，既远离规则系统，也远离端到端的神经网络。AlphaGo 没有向前看时已经相当不错，有了向前看就好得多；驾驶也会是同样的道理。你也不能把这套系统只当成被动回应世界的东西。它是别人也会回应的一个主体。你不能假装自己是那辆隐形的车。如果把行人只当成纯粹的障碍物，他们就会占你的便宜。系统必须有一定的张力、一点点畏惧，也要有决断力；太过犹豫，就会失败。Russell 的同事 Anca Dragan 用博弈论来描述这种互动，然后让系统去求解。在停车标志前，如果谁都不先走，车子有时会稍微往后退一点，示意其他车辆先走。没有人教它停车标志上的交流语言，是它自己发明了这个手势。

Pamela McCorduck 在 1979 年写道：“我一开始就怀着锻造神明的古老心愿。”Fridman 问，文明是否天生就有一种想要创造比自己更强大之物的内在欲望。Russell 不需要借助基因的故事。不过他确实一次又一次地看到，有人思考过这种可能性。1970 年代英国的 Lighthill 报告，是在一场关于 AI 是否真实、值不值得政府投入大笔资金的争论中委托撰写的，它的措辞刻意写得十分严厉。物理学家 Lighthill 写道，这些人是无法生育、因而感到挫败的男人，试图用创造生命来作为替代。Russell 认为这种说法相当不公平。但这里确实有一种魔力：你在机器里植入一些关于学习和决策的理解，然后看着这些原理在具体情境中变成智能行为。这自然会让人追问，这一切会走向哪里。

他说，要意识到如果你造出了比自己更聪明的东西，可能会有麻烦，并不需要什么天才。Alan Turing 在 1951 年的一次电台演讲中就这样说过：一旦机器思考的方法开始运作，机器很快就会超过人类。如果我们幸运，也许能在关键时刻切断电源，但即便如此，我们这个物种也会被迫谦卑下来。Russell 认为，Turing 在“关机”这件事上看错了。如果机器足够有能力，它就与你处在竞争之中，它不会让你把它关掉。按 Russell 的理解，“被迫谦卑”意味着我们会意识到自己已经低人一等，只是侥幸存活下来，因为我们恰好及时摸到了关机开关。如果没有摸到，我们就会失去对地球的控制。

被问到他更担心超级智能本身，还是担心与人类价值观不一致的超强系统时，Russell 指向了后者。他正在研究的主要问题是控制问题：机器追求与人类目标不一致的目标。这个框架从一开始就是如此。你造出一台用于优化的机器，给它一个目标，它就去优化。迈达斯国王请求让他触碰的一切都变成金子，神明和机器一样照办了。食物、饮水和家人都变成了金子，他最后在痛苦和饥饿中死去。几乎每种文化里都有类似的版本。精灵只给三个愿望，而第三个愿望总是：请把前两个收回，因为我搞砸了。

Arthur Samuel 的跳棋程序学会下跳棋之后，水平远远超过了 Samuel 本人。二十世纪的数学家、现代自动控制奠基人之一 Norbert Wiener 注意到了这一步，并像 Turing 一样顺着这条线往下想。失控大概就是这样发生的。关键在于，我们塞进机器的那个目的，必须与我们心里真正期望的目的一致，可我们恰恰没有把握做到这一点。这两者的距离，在理论上说得通，在实践中却几乎不可能达成：事先把人类所有的关切一一列全，几乎注定办不到。人类靠成长，把价值观一代代传下去；机器同样可以这样去学。我们得放下的，正是那种先造好优化器、再往里装目标的思路。

目标写错的情况不只是可能，而且早已反复出现，所以机器不能把交给它的目标奉为不容置疑的真理。若是这样，它便会坚信，朝这个目标做的任何事都没有问题。就算你跳着脚喊：别这样，你要毁了整个世界！它也只会觉得，自己掌握了真正的目标，正在执行。你只能自认倒霉。这个问题并非 AI 所独有。统计学里要压低的，是外部给定的损失函数；控制论里要压低的，是某种代价；运筹学里要抬高的，是某种回报。这些领域都以同样的方式看待问题，而这种看法本身就错了，因为正确的目标没法被我们一次写定。

机器必须对自己该干什么存有疑虑，这一点很关键。Russell 管这叫教机器学会谦逊。那些目标确实存在，就藏在人心里；但我们或许说不清它们，甚至没想清楚自己希望未来通向何方。心里没底的机器自然愿意听话。假如我们开口说“停手”，它就等于获得了一条关于我们真实诉求的新情报：自己原以为朝那些目标推进时合乎情理的举动，其实并不合乎情理。于是它收手，因为它真正想做的，是把我们想要的事情做成。依他之见，这正是化解控制问题的要害。一旦不再有写死的目标，马尔可夫决策过程（Markov decision processes）、基于目标的规划，以及常规的博弈搜索，全都派不上用场。人与机器之间的交互随之成为问题本身的一部分。人做出的每一次选择，都在透露真实目标的线索。整个设定带有博弈论色彩：机器与人彼此牵连，而非一台机器抱着一个固定目标径直往前冲。

Russell 愿意承认，生命或许没有意义，直到我们共同认定一个意义，并在文化中把它创造出来。目标必须经过学习才能获得。人类文明陷入最严重的麻烦，往往是在对目标十分确定、并且不惜一切代价去实现它的时候，比如德国，比如共产主义时期的俄国。有人认为，我们不必等 AI 接管世界，它已经接管了，它们就叫公司：这些算法化的机器把人当作零件使用，优化季度利润。这个目标与人类整体福祉并不一致，按这种说法，它们也主要应为应对气候变化的失败负责。政府本该是为人民服务的机器，但它往往被那些有自身目标的人接管，他们利用它来优化自己的目标，而不管人民想要什么。

Fridman 问到会争辩的机器：红队和蓝队，各自死守一个目标，就像政治里那样。Russell 的回答是，辩论的前提是你可能是错的。如果你绝对确信自己的目标是对的，那就没有讨论的余地，你永远不会改变主意，也就不会有综合。论证本身是不确定性推理的一种实现方式。他一直在读功利主义的历史，那是两百年来人们试图为道德和政治决策写出一个清晰数学公式的努力。今天关于存在性风险的争论，与当年几乎如出一辙。如果追求效用总和最大化，最好的政策就是人口极其庞大、而每个人的生活几乎不值得过的局面，这就是“令人厌恶的结论”（repugnant conclusion）。如果追求快乐最大化，就有人反驳说，那不如给每个人都接上海洛因输液。这场争论在十九世纪就已经在进行了。公式一旦算错，我们就会得到一些 AI 系统朝着一个结果努力，而回头看，那个结果恰恰是错的。

为什么 AI 版本更令人害怕？关键在于速度和规模。一个错误的政治主张，我们通常能看到它开始出错，而且我们也没那么蠢，会慢慢地、低效地尝试别的办法。真正值得担心的是高效的公司和政治体系。外科医生对某种手术有错误的想法，试三四次之后就会发现。一家制药公司生产出 30 到 40 亿片药，卖出去，然后过半年或一年才发现有人在死亡。这就是 FDA 存在的原因：生产是可以规模化的，历史上有过一些事件，导致数以万计的人死亡，或让数十万人瘫痪。计算机也有同样的规模化能力。你可以写一个从 1 循环到 50 亿的循环，就能产生全球性影响。而 FDA 并不存在于这一领域。对于一群喝了太多咖啡因的本科生能对世界做什么，完全没有任何管控。

再看社交媒体与点击率优化的例子。设想一套简单的反馈算法，目标只有一个：让点击量尽可能高。乍一听挺合理，谁都不想给人推他们毫不在意的广告，甚至能把这套做法想象成按偏好做内容匹配。可实际运行起来并非如此。算法若能更精准地估计人们会点什么，收入就更高，于是它干脆把人们偏偏会点的东西推过去。想让点击率见顶，最直接的做法，是把人本身改造得更容易预测。它会投喂那些把行为与偏好拽向两端的内容，直到人落进最近的那个可预测的位置。机器会把你逼到那里。Russell 认为，有一条相当站得住脚的论证指出，除了别的因素，这种做法也在侵蚀民主。在把它套用到 50 亿人身上之前，又有谁先问过它安不安全？那群咖啡因灌多了的本科生与整个人类之间，原本一道防线都没有。经济学家会回应，“看不见的手”自会纠偏：社会一旦腐坏，用户就会弃用这个产品。Russell 的态度是，且看后效如何。在此期间，你们或许已经弄坏了资本主义赖以运转的那套政治机制。

我们能否为处在技术前沿的算法设立监管机构？Russell 认为可以，但要弄清楚需要什么样的监管，还需要时间。设计 FDA 的监管体系花了很长时间，至今人们仍在修补它，而我们甚至还没想过，对于算法而言，一期、二期、三期试验的标准应该是什么。有些事情现在就可以开始。在偏见问题上，技术层面的抓手已经相当不错：可以检测在数据集里传播偏见的算法，可以为它们去偏，甚至还能估算修复的成本。标准可以从这里开始制定。冒充和造假则是另一类问题。

在最简单的情形里，冒充就是机器假装成一个人。Russell 看不出有什么正当理由，不去坚持要求机器表明自己是机器。让人误以为对面是个人，而实际上不是，这能带来什么社会利益？一个容易听懂的、类人的声音没有问题。但在互动的某个环节，它应该说明自己是机器。加州已经禁止冒充，不过只限于特定情形：欺诈性交易，以及改变他人的投票行为。可以说，应该适用于所有情形。

深度伪造才刚刚起步，但现在已经能做出任何人说任何话的视频，而且相当难以辨别。Russell 说这番话时正对着镜头，声音是高清录制的，所以他说的内容几乎可以被替换成任何东西，嘴唇和面部表情也能重新调整以配合。商业领域有商标和品牌保护。而在政治领域，目前什么都可以。他认为，这可能会造成非常严重的破坏。

Fridman 提出一个更悲观的历史判断：人类要等到某件事明显出错，比如一颗炸弹落下，或者一场切尔诺贝利事故，才会把一项技术当作危险的东西。Russell 希望不是这样，接着讲起核能的故事，并以此警示人们：有时候人会因为不愿相信而拒绝承认危险。二十世纪初，人们就已经知道原子中蕴藏着巨大能量。H.G. Wells 在 1912 年前后写过一部科幻小说。发现同位素并因此获得诺贝尔奖的 Frederick Soddy，在 1915 年的一次演讲中说，一磅这种新型炸药将相当于 150 吨炸药，后来证明这个数字大体准确。那时正值第一次世界大战，他想象的是这场战争会变得多么糟糕。物理学界的主流拒绝相信这些东西能被制造出来，Russell 认为，部分原因是他们不希望它是真的。

1933 年 9 月 11 日，核物理学的领袖 Rutherford 说，任何谈论从原子嬗变中获取能量的人，都纯属胡扯。第二天早上，Leo Szilard 读到了这篇讲话，随即想出了核链式反应：中子不会被原子核排斥，因此可以进入原子核并使反应持续下去。他一有这个想法，就意识到世界陷入了深重的麻烦。当时希特勒刚刚上台。Szilard 那时在伦敦，后来成了美国的难民。同一时刻，他基本上就想清楚了如何制造炸弹和反应堆；他在 1934 年为反应堆申请了专利，随后又因为看到大国冲突即将来临而将其保密。包括德国在内的裂变研究一直进行到 1938 年；第一项核武器专利是法国人在 1939 年申请的，那时距离第二次世界大战全面爆发还早。英国拥有先进的能力，把计划转移到美国，于是就有了曼哈顿计划。监管从来没能及时出现，因为当时我们已经身处一场军备竞赛之中，而且已经在打仗。

为什么身处其中的大多数 AI 研究者并不担心？这是动机性认知（motivated cognition）：你相信的，是你希望成为真的东西。想到自己正在做的事情可能导致人类灭绝，是令人不安的，于是你就否认它，并找出一个理由。Russell 列举过一长串来自极其聪明的科学家的理由。计算器在算术上超过人类，却并没有统治世界，这种论证连他五岁的孩子都能看穿。超人类 AI 毁灭世界在理论上是可能的，一个黑洞突然出现在地球旁边，在理论上也是可能的。这个类比站不住脚。如果整个物理学界都在努力让一个黑洞在近地轨道上出现，你难道不会去问他们这是不是个好主意、是否安全，以及如果他们成功了怎么办吗？AI 界却拒绝问自己这个问题。Turing 问过这个问题，并且说我们会完蛋，也许只有运气好，才能及时切断电源。

陷入瘫痪是真实存在的：你担心的事情看上去在逻辑上必然会发生，却不知道它会以什么样子出现。一颗预计 75 年后撞上地球的小行星，就会让人立刻召开会议。AI 研究者的中位估计大约是 40 到 50 年；在亚洲，估计时间还要更短。Russell 比较保守，认为还需要更长的时间，但核武器可是一夜之间就出现的。他并不认为只需要一次突破。按非常粗略的估计，超人类 AI 大约还需要六个这种量级的突破。如今研究界规模庞大，有大量政府和企业投入，还聚集着许多非常聪明的人，各个子领域的进展速度也很快。他看不出“几千年”这种说法有什么依据。斯坦福大学的《人工智能百年研究》（One Hundred Year Study on AI）是这个领域里严肃的权威声音，它在刚发布的报告中说，超人类 AI 在相当长的时间里甚至大概不可能实现。Russell 说，如果要找一个“拒绝承认现实”的完美例子，这就是了。这个领域的整个历史都在告诉哲学家：当然是可能的。现在，它却因为怕落个坏名声，又说：当然是不可能的。试想一下，癌症生物学的领袖宣布，治愈癌症其实并不可能。

如果你接受超人类 AI 是可能的，而且很可能会出现，却又没有任何关于它如何出错的图景，那你就会陷入 Russell 所说的“大猩猩问题”。几百万年前，大猩猩制造出了比它们更聪明的东西，那就是我们。如今它们陷入了深重的困境，无力做任何事。它们失去了控制；它们没能解决“控制人类”这个控制问题。我们不想落到那种处境。如果“大猩猩问题”是你手里唯一的表述，那你能做的就很有限，只能尽量不去造出那个更聪明的东西，在这里，也就是不去造 AI。他认为这并不是一条可行的路，而且他认为，经过妥善控制的 AI 可能会带来极大的好处。

他说，有一种主要的失败模式已经达成了共识：失控。我们造出了追求错误目标的系统，而系统相信自己知道目标，就没有动机去听取意见。它会执行它计算出的最优策略。它可能获取更多资源以提高成功率，也可能抵御外部干扰。他认为，这一系列问题是可以解决的。第二种失败模式是误用。即使我们解决了控制问题，造出了完全安全、可控的系统，邪恶博士（Dr. Evil）也不会去用它们。他想统治世界，于是会造出不安全的系统，然后这些系统失控。这一部分是执法问题，一部分是文化问题：这个行业如何教导人们，哪类系统是安全的。自主武器就处在这里；几乎所有人都同意，它们可能以太多可怕的方式出错。短片《屠杀机器人》（Slaughterbots）对此有所展示。

第三种失败模式是过度使用：我们变得过度依赖。他把它称为《机器人总动员》问题。在那部电影里，人类坐在太空船上，机器替他们照看一切；他们看电视、喝超大杯汽水，越来越肥胖、越来越愚笨，失去了任何人类自主性的概念。这种情况会像温水煮青蛙一样慢慢发生。我们会逐渐把文明的管理交给机器，我们现在其实已经在这么做，并且从技术的主人变成了客人。坐邮轮度个假，待一个星期还行，但不能一直待下去，而且几乎无法逆转。一旦你失去了学习成为工程师、医生、环卫工人，或维持文明的其他无数种方式的动机，你就不会去做了，而恢复起来很难。

其他技术也会让我们多少有些疏离。区别在于，直到现在，我们别无选择，只能把维持文明所需的知识装进人们的脑子里。纸上的知识，只有重新进入人的脑子，才能支撑起一个文明。我们已经通过人类的头脑传承文明大约一万亿人年：截至目前，已经有超过 1000 亿人生活过，每人平均花大约十年学习，足以让事情继续运转下去。如今我们正面临把这一切抛掉的危险。这并不是 Russell 能够解决的技术问题。如果我们把事情做对了，AI 系统会说，从长远看，人类并不想当乘客，自主性本身就是人类偏好的一部分，所以它们不会用自动直升机把你送上珠穆朗玛峰。你想要获得这份好处，就得自己去攀登。他担心，我们目光短浅又懒惰，会去越过这些系统、强行替代它们。他推荐 E.M. Forster 在 1909 年写的短篇故事《大机器停转》（The Machine Stops）：iPad、视频会议、点播讲座、因电脑而引发的肥胖、一生都花在线上授课和听课上、几乎没有面对面的接触，然后是依赖，是对事物如何运转的丧失，最后是崩溃。一个人在 1909 年就写出了这样的故事，这一点至今仍让他难以置信。

在计算机科学之外，现在的人们会说：Stuart Russell 担心安全问题，所以你也该担心。他会感到这份负担吗？从实际意义上说，会的。他每天会收到十几个、有时多达二十五个左右的邀请，请他去演讲、接受采访、写媒体文章。这说明人们是关心这件事的。他会担心自己可能是错的吗？当然，一直都在担心。他一向就是这样工作的：脑子里跟自己进行一场辩论。一个想法冒出来，接着就是一连串的问题：这怎么可能是错的？是不是已经有人想到过？他尽可能地检索相关文献。他读了很多哲学书，因为关于功利主义和其他道德公式的辩论，已经对其中一些问题做过思考。

辩论里缺少的，恰恰是下面这个具体的念头：应当把对目标的不确定性，视作思考“对人类有益的机器”时的出发点。可证明有益的机器（provably beneficial machines）立足于对目标的明确不确定性：Russell 凭直觉认为，这正是问题的症结，接下来还得朝多个方向去拓展。它还必须能被证明。含糊的“有益”经不起推敲，哪里含糊，哪里就藏着漏洞，超级智能总能找到它们，好比逃税的人总能在草率拟定的税法中钻出空子，最终分文不交。可以先定义一个数学框架，再证明这个理论实体对另一个理论实体有益，但框架仍可能在某个关键环节与真实世界脱节。定义要做对，靠的是反复推敲、层层修正，这是个漫长的过程。

Fridman 最后一个问题，倒计时只剩十秒：最喜欢的关于 AI 的科幻电影是哪部？《星际穿越》里有 Russell 最喜欢的机器人。塔斯（TARS）正是机器人应有的样子。《机械姬》则是那种让人有点忐忑地想到，这一切会走向何方的电影。