David Silver：AlphaGo 赢在拿掉了人类知识

Lex Fridman 开场介绍了 David Silver。Silver 领导 DeepMind 的强化学习团队，也是 AlphaGo 和 AlphaZero 的主要研究者。Fridman 请他讲讲自己写的第一个程序。Silver 记得很清楚：大约七岁时，父母带回家一台 BBC Model B 微型计算机，他做的第一件事，就是用不同颜色把自己的名字打印出来，然后让它循环播放。在他看来，这台机器与其说是谜题盒子，不如说是没有零件数量限制的乐高。他说，有了电脑，你就能做任何事。

他把用户手册和进阶用户手册都翻了出来，先从 BASIC 入手，后来又学了 6502 汇编语言。父亲也对这台机器产生了兴趣，放下了原来的工作，回去攻读人工智能硕士学位，那时 Silver 还只有七岁。父亲教他 Prolog，让他查询一棵家谱。这些推理练习，是 Silver 最早用电脑试着解决问题的记忆之一。

真正的执念出现在剑桥大学。他在那里读计算机科学本科，开始追问这个领域究竟是为了什么。他认定，唯一有重大意义的一步，就是复现某种类似人类智能的东西。这个想法并不是他原创的，但它在他心里扎了根，成了一个他想要攻克的心结。他问：如果你不相信什么玄学，那大脑到底在做什么？在某种层面上，大脑就是信息处理系统：接收信息，经过某种程序加工，再输出结果，让人在世界上做出令人惊叹的事情。

毕业后，他在游戏行业干了五年，写的是业内所说的“AI”：手工编写的智能体，能在有限、节奏紧张的场景里靠反应更快或利用重复的套路打赢他。那些都只是短期的补丁，谈不上是一直萦绕在他心头的长远构想。之后他回去读博士，研究把强化学习用于围棋。第一个程序通过和自己对弈、反复试错，学会了哪些棋形预示着胜利，然后朝着这些棋形选择落子。它赢了他。当时还没有神经网络，那是深度学习革命之前的事。他觉得很有成就感：一个有章法的自我学习系统，竟然比他更懂这个领域。

Fridman 是俄罗斯人，至今仍把深蓝在 1997 年战胜 Garry Kasparov 视为一次里程碑式的冲击。他说，当时的 AI 界大多认为，靠那个年代的暴力搜索方法，围棋是不可能被攻破的，哪怕把算力任意放大也一样。Silver 刚参加完一场座谈会，与 Kasparov 以及深蓝的作者 Murray Campbell 同台，这是他们自那场比赛以来第一次见面。对 Silver 来说，这个梦想开始得更早：他在大学里接触到围棋，觉得它把国际象棋和拼字游戏远远甩在了后面——深度无穷，而且他私下里很确定，无论花多少时间，自己都成不了真正的高手。另一条路，是让另一种智能下得比他自己更好。

1990 年代是启发式搜索的黄金时代。国际象棋、跳棋、西洋双陆棋和黑白棋（Othello），一个接一个被基于这一思路的高性能系统攻克。同一时期，一笔一百万美元的奖金等着第一个击败职业棋手的围棋程序。2000 年奖金过期时，世界最强的围棋程序输给了一个九岁的孩子，那孩子在开局前让了电脑九子。一位围棋高手让了它二十九子，仍然赢了它。这就是 Silver 在大约 2000 年至 2003 年间开始关注这件事时的状况：几乎没有任何程序接近人类水平，而这并不是因为没人努力。

围棋与其他游戏不同，它有一种直觉性的特点。棋手看着满盘黑白交错的棋子，就能判断：这一片以后会是我的地，那一片是你的，我大概率会赢，这一手大致是对的。这种判断是人类下棋的关键，但人们不知道该怎么把它放进电脑里。国际象棋可以给棋子赋予子力分值，得到一个还算像样的静态评估；围棋里双方落子数相同，高手之间很少吃子，真正区分局面的，只剩下一种直觉：哪里最终会形成地盘。围棋的搜索空间大约是 10 的 170 次方个局面。传统的启发式搜索，也就是深蓝那一类方法，在这里直接失效了。

人们觉得，要攻破围棋，需要某种接近人类直觉的东西；如果做到了，AI 中的许多其他问题也会随之打开。对 Silver 来说，那一刻问题就不再只是一个游戏，那个老心结又冒了出来。他早就相信，学习必须是系统的一部分：机器要自己去理解这个领域，模仿人类下棋并不是目的。没有学习，就只能把知识硬塞进去，而几十年的 AI 研究已经揭示了“知识获取瓶颈”：塞进去的知识越多，系统就越脆弱。那个奖金时代的围棋程序，是由开局库、棋形目录、组合博弈论以及专门用于死活的搜索拼凑起来的，整体效果依然很脆弱。他的博士研究则回到了第一性原理：从结果中学习，让系统自己验证知识。

在那家游戏创业公司之后，Silver 停下来用了一年时间，想清楚研究智能到底意味着什么。这一年里，他读了 Sutton 和 Barto 合著的强化学习教材，感到一种强烈的共鸣：这正是他心目中智能的样子。他写信给 Richard Sutton，问 Sutton 愿不愿意指导他做一篇关于计算机围棋的博士论文。Sutton 回信说，只要自己还在，他很乐意——当时他正与严重的癌症搏斗，并不确定能否等到论文完成。Silver 说，这部分故事的结局是好的。他去了阿尔伯塔，那里有一个很强的博弈研究团队，还有 Sutton 这位领域的开创者之一。

他越看越觉得，强化学习不只是通向计算机围棋的一条路，它还是把“什么是智能”界定为一个清晰单一问题的方式。他很注意把问题和解法区分开。他认为，智能这个问题可以形式化为强化学习问题，而这种形式化基本涵盖了我们所说的智能。如果将来的系统达到人类水平的智能，那它就是这个问题的一个解。至于具体用哪些方法达到这一点，则是另一个问题。他希望这个领域保持开放的心态：现有的强化学习算法可能还能走很远，也可能仍然缺了某个重要的东西。

他的定义如下：强化学习是一门研究智能的科学，研究对象是与环境互动的智能体。智能体采取行动，行动会影响环境；环境返回观测结果，还有一个特殊的信号，也就是奖励，告诉智能体做得怎么样。问题就在于随着时间推移采取行动，使累积的奖励最大化。要攻克这么宏大的问题，常见的办法是把智能体拆开来看。Silver 熟悉的三个组成部分是：显式预测未来会有多少奖励到来的价值函数，显式决定如何选择行动的策略，以及显式预测环境会发生什么的模型。这些部分的不同组合，就构成了强化学习里我们熟悉的各个分支。

在这些选择之下，还有一个更基本的选择：学习本身。强化学习的问题定义里并没有规定必须学习；你也可以不学习而去最大化奖励，但效果不会太好。在足够大、足够复杂的环境里，学习是达到良好表现的唯一途径。你学到的东西，是预测（价值或模型），还是熟练的行为（策略），决定了系统的语义。在 Silver 看来，深度强化学习是一类方法：用神经网络作为一套通用工具，来表示上述任何一个组成部分。它的前景是一个没有天花板的系统：只要有更多的内存、算力和经验，同样的函数就能在它被要求表示的东西上越做越好。

Fridman 问，神经网络能学会策略、模型或价值所需的那种极其复杂的表示，这是否仍然令人惊讶。Silver 把这个问题拆开来谈。他并不惊讶强化学习应该奏效，因为我们有一个存在性证明：人类智能本身。在某种层面上，在人类所面对的那种复杂环境中积累经验并加以善用，必然是可能的。真正让他和许多人感到惊讶的，是深度学习居然一直能学下去。损失曲面极其非线性，坑坑洼洼。低维空间里的直觉告诉人们，学习会卡在局部最优里。令人惊讶的是，学习并没有停下来。

在高维空间里，当网络真的很大时，总有一条出路，总有一条通往更低处的路。而那个新位置仍然不是局部最优，因为另一条路径还能让你继续降低。无论你身处何处，学习都可以无限地进行下去。Silver 觉得这一性质既优雅、漂亮，又有些令人震惊。人类习惯了三维环境，要想象一个十亿维的优化曲面非常困难。他把 AI 寒冬部分归因于这种泛化上的失败。那时的人们最多只能搭出几十个节点的网络。从当时的视角出发，想象一个十亿维、行为性质截然不同的网络，几乎是不可能的。

他说，理论仍在建设中，也还不完整，但目前所知的一切都指向同一个方向：神经网络不仅在表示上是通用的（这一点早已知道），在学习能力上也是通用的，而后者恰恰违背直觉。这让他不禁想，由于直觉贫乏，我们还漏掉了什么。一百年后，超人水平的系统回头看今天的强化学习，可能会觉得它太复杂了——答案其实一直很简单，就像围棋或元胞自动机那样，简单的规则能产生极为丰富的复杂性。他同意 Sutton 的看法：简单而清晰的想法，最有可能走得最远。问题在于，我们今天仍得让东西先跑起来，这有时意味着在还没弄清最小要素之前，就得先搭起更复杂的系统。

围棋规则简单到有人推测，我们或许没法和外星生命交流，却可能和它们下一盘围棋：一张 19 路棋盘，棋子落在交叉点上，目标是围下更多的地盘，吃子是其中唯一需要细细体会的地方。从这些规则里，积累了几千年的知识，下棋的人大约有五千万，主要集中在中国、日本和韩国。Silver 读博期间，一个重要的新想法出现了，最早是在计算机围棋领域。程序不再由人来给局面打分或编写评估规则，而是随机地把棋下到终局，重复很多次，再取平均结果作为预测。如果从某个局面出发，黑方在这些随机对局中赢得更多，就说明这个局面对黑方有利。

2006 年，Rémi Coulom 开发了蒙特卡洛树搜索：搜索树中的每个节点，都由从该节点开始的随机对局平均结果来评估。这个想法带来了巨大的飞跃。那一代最强的程序之一是 Sylvain Gelly 开发的 MoGo，它是第一个在 9 路小棋盘上达到人类高手水平的程序。Silver 在读博期间与 Gelly 有过一些合作。这是迈向后来成功的第一步，但它仍缺少一个关键要素：MoGo 的评估完全依赖随机模拟对局，也就是程序自己和自己随机下完一盘。

在一个完全确定、每一步精确顺序都很关键的游戏里，随机下子居然还能起作用，这一点很不寻常。Silver 的直觉是，随机性捕捉到了局面本质的某些东西：从某个节点出发采样随机的未来，就是对这个节点的一种统计估计。基于这种方法的程序带来了第一次革命，随后便进入平台期。无论人们投入多少工程努力，它们都突破不了业余段位——它们是很强的业余高手，离职业棋手还差得远，更谈不上世界冠军。正是这个天花板，构成了 AlphaGo 诞生的背景。

AlphaGo 在 DeepMind 起步时，是 Silver、Aja Huang 和实习生 Chris Maddison 共同开展的一项科学研究。问题是：有没有一种根本不同的方式来构建那种缺失的直觉？一个系统能看一眼局面，就知道该下哪里，或者判断谁会赢。2012 年，ImageNet 已经被深度学习攻破。如果一个网络能把图像理解到可以分类的程度，那为什么不把黑白棋子当作输入，让系统自己理解它们的含义呢？AlphaGo 的第一篇论文介绍的是一个完全没有搜索的纯深度学习系统。在完整的 19 路棋盘上，它达到了人类段位水平，一下子就追上了那些依靠随机模拟的最好的蒙特卡洛树搜索程序。

Fridman 把这称为一次决定性的转折，告别了几十年来搜索主导 AI 的局面。Silver 觉得这非常令人惊讶。团队当时打了一个赌：一个纯粹基于深度学习、不做搜索的系统，能不能击败一位段位水平的人类棋手？团队里加入了一位这个段位的棋手，第一场比赛就是和他下的。Silver 一向对深度学习和强化学习持乐观态度，他押的是这一边，结果系统赢了。对他来说，那是某种特别的事情正在发生的时刻：一个不做搜索的程序，已经能像一位强棋手那样理解局面。从那以后，职业水平乃至世界冠军水平，在他看来就成了必然。如果有谁要做到这一步，他希望是这个团队。

他们把规模扩大了。DeepMind 负责人 Demis Hassabis 非常兴奋。几个月内，系统就和欧洲冠军 Fan Hui 对弈并击败了他，这是程序第一次击败职业棋手。接下来是一个更难的判断：什么时候去挑战世界冠军。他们根据自己的进展速度做出估计，把与 Lee Sedol 的比赛定在 2016 年 3 月。早期的 AlphaGo 利用人类的棋谱探索深度学习能做什么，只靠人类数据来预测胜者、推荐着法，因为这是尚未知晓的一环。自我对弈从一开始就是目标；使用人类数据只是一种权宜之计，它把一个难题拆成研究人员能理解的几个部分，之后再去构建那个有原则、能自己学习的版本。

到比赛时，Silver 研究计算机围棋已经超过十年，他原以为这一刻或许会引起一些人的兴趣。抵达首尔后，他看到大批记者，还有大约一亿人在直播中观看，这才意识到自己低估了它的意义，差了好几个数量级。他有点害怕。团队清楚，AlphaGo 仍有不完美之处，这些缺陷将会暴露在世人面前。事后回想，他认为团队当时与外界有一定隔绝，在研究的“泡泡”里探讨科学问题，反而更好，因为完整的公众关注会让人更难专注。

比赛前，团队成员每人伸出手指，表示自己认为能在与 Lee Sedol 的对局中赢几盘。估计的差异很大。Silver 预测是四比一，而且这个数字是有数据支撑的，不是拍脑袋想出来的。他们已经确认，AlphaGo 大约每五局就会出现一次妄想：知识上的一个漏洞，会持续几十手。没有妄想的时候，它的棋力远超任何人类；有了妄想，情况则正好相反。比赛大致就是这样发生的。在其中一局里，Lee 下出了一步 AlphaGo 没有预料到的精彩变化，把它引入了其中一个漏洞。

第一局是程序第一次在这项重大挑战中击败世界冠军。到了后半段，AlphaGo 闯入了 Lee 的地盘：它在 Lee 以为已经属于自己的区域中间落下一子，这步棋相当于宣称：我能把你这块棋切开。Lee 的表情一下子沉了下来。第二局因第 37 手而出名。这一手打破了所有常规，观战的职业棋手一度以为，操作员可能输错了坐标。围棋手从小就被教导，肩冲应该下在三路或四路；AlphaGo 却下在了五路。结果证明这手棋非常精彩，在中腹形成了一个漂亮的形状，并赢下了这一局。Silver 认为这是机器创造力的一个明显例子：一个不在人类既有围棋知识之中的想法，如今已被视为合理。

第三局，Lee 这位 18 次世界冠军眼看落后，便无中生有地挑起战斗，做出了双劫。此前没有任何程序能正确处理双劫，AlphaGo 却应对得滴水不漏。第四局，Lee 在中盘下出一连串精彩的变化，改变了局面走向；AlphaGo 的评估从胜势一下子跌到毫无胜算，而且开始表现得有些古怪。第五局，团队仍被之前的妄想问题所困扰，认定系统又一次误判了局面。直到最后几分钟，他们才意识到：虽然 AlphaGo 一直预测自己会赢，它确实是在赢。Silver 说，这又一次教会了他们：当一个系统的判断超过了你自己时，就要相信它；你既然赋予了它比设计者更好的判断力，就应该相信它去运用这种判断力。

Lee Sedol 后来宣布退役，说即便自己成为世界第一，也有一个无法战胜的存在。在这次对谈的前一天的座谈会上，Kasparov 说，他第一次输给深蓝时，把它看作自己的失败，后来却渐渐认为那是大家的成功——对 AI 而言，那是一个转折时刻，其意义远大于个人的失利。Silver 认为，Lee 在当时就比他更清楚这一点。Lee 在最后的发言中说，这场比赛的意义不仅属于 AI，也属于人类：它打开了他的视野，让他重新找回快乐，打破了常规，让一切重新变得有可能。首尔之后，更强的 AlphaGo 以 60 比 0 的战绩击败了其他顶尖人类棋手。Lee 至今仍是最后一个击败 AlphaGo 的人。

Silver 说，Kasparov 对 AlphaGo 团队所做的事情非常敬佩。对 Kasparov 来说，AlphaZero 之后横扫世界最强国际象棋程序，比深蓝更具深意，因为它是靠学习做到的：系统发现了一些原则和想法，而他和其他人并不总是知道这些。在同一场座谈会上，Silver 得知，当时的世界冠军 Magnus Carlsen 把自己的一次等级分高峰归功于研究 AlphaZero 的对局，并因此改变了风格，下得更像它。

Silver 并不想贬低深蓝。启发式搜索本身有很多强大的思想。它的局限在于，评估函数是由人类设计的，这既给性能设定了上限，更重要的是，这种思路无法迁移到那些找不到大师来把知识编码进去的领域。大多数真实世界的领域都属于后一类：知识杂乱、难以提取，或者干脆不存在。AlphaGo 则是朝着让学习成为一等公民迈出的一步：系统自己理解，在它所处的任何状态下，如何判断行动的价值。

Silver 说，自我对弈就是在存在多个智能体时，系统自己学习：通过与自己下棋来理解一个双人游戏，无需依赖任何真实对手。AlphaZero 的主要思想，是退后一步，不再依赖团队事先注入的知识，并追问：能不能用一个简洁优雅的原则，让系统学会它所需要的一切。拿掉这些知识，系统就不那么脆弱了——注入的知识有时会妨碍学习——也更通用，因为塞进去的知识越多，智能体就越难被放进另一个世界里。在他看来，AI 的承诺是这样一种算法：你可以把它放进任何环境、设定任何目标，它都能成功。AlphaZero 在双人完全信息博弈中，朝这个方向迈出了一步。

这个算法是他在蜜月期间想到的。那时他最放松，想法几乎是完整地冒了出来——而且其实是在与 Lee Sedol 的比赛之前。团队当时忙着要击败一位世界冠军，直到后来才有时间去审视那个更深层的科学问题。他把这段经历讲给那些 24 小时连轴转、想方设法挤出下一个想法的研究者听，当作一个教训。他也不喜欢做那种自己已经有 95% 把握会成功的实验。自我对弈单独能否达到人类数据系统的水平，在他看来是个 50-50 的问题，因此正是值得去问的问题。即使结果更弱，也值得研究。结果，AlphaGo Zero 以 100 比 0 击败了之前的 AlphaGo。

他的直觉是纠错。AlphaGo 的妄想来自很多方面：人类数据、搜索的性质，还有算法本身。在任何复杂系统里，处理错误的唯一办法，是让系统能够察觉错误——比如“我本来以为会赢，结果输了”——然后补上那个漏洞。顺着这个思路一路追溯，它应当能让系统从一个完全随机的起点出发，一直到达该领域的最高水平：随机下子会犯很蠢的错误，学习者会纠正它们，稍好一点的智能体又会出现新的错误，这一过程可以无限继续下去。他们没有看到 AlphaGo Zero 的进步有放缓的迹象。他认为，只要算力足够，它还会不断发现更多东西。

Fridman 问，补上一个漏洞，会不会只是又打开了别的漏洞。Silver 给出了一个可以被证伪的假设：如果将来有人用比 DeepMind 更多的算力来运行 AlphaZero，它应该能以 100 比 0 击败前一个版本；再过几年，同样的事情再来一次；这样的链条至少应该延续到他有生之年。围棋的 10 的 170 次方个状态是理论上的上限，但由宇宙中的原子构成的任何设备，都无法触及这个数字。的确会引入新的错误。不过，在这类游戏中，只要表示能力足够（可以想象成一张列出所有状态的表），已知在单智能体的情形下，自我改进会趋向最优下法；在双人情形下，则会趋向极小极大（minimax）。即使有新的错误，你依然在朝可能达到的最好结果前进。

在完全不修改算法的情况下，AlphaZero 被用于国际象棋，击败了世界上最强的计算机国际象棋程序。那个程序属于深蓝一脉，多年来一直在打磨，而 AlphaZero 的全部知识都是从零开始自己发现的。同一套算法还在将棋上达到了超人水平；将棋中被吃掉的棋子可以作为己方的子重新投入盘面，规则要复杂得多。这份发表的将棋结果，是他们第一次在这种游戏上运行这套系统。它开箱即用，没有调参，也没有反复折腾。Silver 觉得，一个直接就能用的算法，有一种美感。

AlphaZero 仍然只是一步。真实世界丰富、复杂又混乱，没有人会把规则递到你手上。我们或许知道宇宙在微观层面遵循量子力学，在宏观层面遵循相对论，但这些模型对日常决策并没有什么用处。智能体必须从丰富的感官输入流中理解世界，同时不断输出行动，并且仍然要能像 AlphaZero 在围棋和国际象棋中那样进行推理。这就引出了 MuZero：一个即使规则未知也能学习的系统。把它放进雅达利游戏里——这是强化学习的经典领域，画面像素杂乱——它学到了一个足以支持规划的模型，并在这里超越了当时的最好水平。

同一个 MuZero，未经修改，就在围棋、国际象棋和将棋中达到了 AlphaZero 的超人水平。没有人告诉它规则。它把棋下到终局，得知胜、负或得分，然后自己摸索出世界是怎样运转的。这种理解是隐性的，足以支撑规划，它存在于模型之中，没有写成条文。Silver 说，这正是面对不确定环境的根本过程：自己弄清游戏的基本规则。MuZero 是朝着完整的强化学习问题又迈出的一步：在那样的问题里，世界是未知且复杂的，智能体必须学会如何应对它们。

Fridman 问，AlphaZero 是否展现了创造力。Silver 先给出一个定义：发现以前未知的、出人意料的、超出我们惯例的东西。从这个意义上说，自我对弈正是创造力的本质。每一个阶段，智能体都按照它当前的惯例下棋，尝试一些东西；如果有效，就开始使用。这样的微小发现会发生数百万次：这个模式有效，我就用它；我可以这样连接各个棋块；我可以弃子；我可以在五路下一个肩冲。让这个过程一直运行下去，系统发现人类惯例之外的东西，就不应该让任何人感到意外。

AlphaGo Zero 留下了一条清晰的时间线。人类在角上下的开局套路，也就是定式，经过了几千年的打磨。训练的四十天里，系统重新发现的正是这些棋形；随着训练推进，人类下的所有定式都通过自我对弈出现了。之后它开始舍弃一些定式，发明出人类不知道的变化。Silver 提到，有一个飞夹定式，系统把它换成了别的下法。如今职业棋手都在研究这些新变化，它们已经成为顶尖比赛的标准下法。一个对人类一无所知的自我对弈机制，独立重新发现了几千年的角上手段，然后又超越了它们。Fridman 说，前半段仍然让他作为人类感到欣慰：在这个领域，我们做得还不错。

他是否希望同样的想法也能用于机器人、自动驾驶和其他安全攸关的场景？他希望如此。Silver 说，作为研究者，最令人满足的事情之一，就是看到别人以意想不到的方式使用你的算法。过去几年里，两支 DeepMind 之外的团队在《自然》上发表了两篇论文，把 AlphaZero 用在真实问题上。其中一篇是逆合成化学，也就是寻找合成分子的路径，并超过了当时的最佳水平。另一篇在访谈前几周发表，把相关方法用在一个量子计算问题上，同样以明显优势超过了此前的最佳结果。这个教训在机器学习领域屡见不鲜：如果你做出了通用的东西，它就会以各种方式被使用。我们才刚刚开始。

Fridman 转而谈强化学习的另一面：通常需要事先指定奖励，而人类看起来并不是在最大化某一个单一的奖励。那么，当真正的目标不清楚时，内在动机又该怎么办？Silver 回到了问题的定义上。当系统要解决的是某个终极目标时，智能的含义最为清楚。如果我们不理解这个目的，也许根本就没有一个定义清楚的问题。在这个框架之内，系统可能会产生它自己的动机和子目标：拿起一个物体、进行交流、影响某个人，这种机制可能至关重要。这些仍然是子目标，之所以被选中，是因为它们看起来有助于实现之后那个更终极的目标。他认为，如果问题没有被清楚地定义，那就等于认输：你得不到一个清晰的答案。

被问到生命的意义时，Silver 先提醒说，接下来的话已经超出了自己的专业，然后给出了一层层的解释。在一个层面上，宇宙只是遵循力学定律。在另一个层面上，热力学第二定律说，熵会永远增加，而麻省理工学院有些人把最大化熵当作一种宇宙层面的目标。如果目标是耗散能量，那么进化可能是宇宙为了高效完成这件事而发现的一种机制；他说，这个比喻借自物理学家 Max Tegmark。进化本身又有它的目标：尽可能高效地繁殖。这会筛选出能够存活并繁殖的生物，其中一些发展出了大脑。早期的大脑可能是预先编程好的控制器；后来的一层，则是能够把自己重新编程、去实现任意目标的学习系统，这接近人类的一种感受：交给我们的任何目标，我们在某种程度上都能掌握。

这些层次并不矛盾。你可以把一个系统理解为在优化某个目标，工程师设计时用的正是这个层次；也可以把它理解为神经元中原子的碰撞。Fridman 说，自己漏掉了最新的一层：也就是 Silver 所负责创造的人工智能，它将决定下一层。Silver 认可这一点。一个会学习的大脑，可能会通过构建一个比自己更能解决这些目标的系统，来更有效地实现目标。他想要一个比自己下得更好的围棋程序，结果是通过创造一个新的层次实现的，他自己并没有变成更强的棋手。在这之上可能还有更多层次，那时这些系统会为它们自身的各个部分设定子目标。Fridman 引用了 Silver 的结束语：Silver 个人认为，我们已经迎来一个转折点，直觉和创造力这类曾被认为只属于人类心智的能力，如今机器智能也能掌握。