Michael Littman 不等待失控的神，他在观察我们

Lex Fridman 介绍 Michael Littman 时说，他是布朗大学的计算机科学家，研究教学、机器学习、强化学习和 AI，并且喜欢让对话保持几分轻松。两人先是一番长长的热身，聊到《Robot and Frank》、Billboard 流行榜、一则 TurboTax 广告，还有与 Charles Isbell 合作的戏仿歌曲。随后，Isbell 说这位超级和善的教授其实也持有一些冷峻的看法，这句话终于落到了正题上。Littman 说，他尽量生活在一个类似《Calvin and Hobbes》的立体主义世界里，能同时看到每一面。他很难被说服放弃的一个观点，就是超级智能的故事。

他说得很平静，没有渲染戏剧性。他愿意听别人的论证。他并不怎么被这样的想法打动：如果我们不够小心，就会不经意间造出毁灭人类生活的超级智能。Fridman 扮演检察官，引用了微软某些人士关于互联网和智能手机的常见警告语录。Littman 没有退缩。没有人知道未来会怎样，人只能依靠自己最好的直觉。他的直觉是：相对于我们已经面对的其他问题，这种事情距离真正严重的关切还相当遥远。

他读过相关材料。按他的理解，故事是这样的：我们会造出足够聪明的计算机，让它们设计出自己的下一代，自我提升、超越我们，然后人类就只能听凭一个更强大的智力摆布，而我们无法掌控它的目标。如果那些目标里没有人类的继续存在，我们就完了。很多聪明人已经站到了这一边。这是个很有说服力的故事。他曾经写过一篇评论文章，回应马斯克。马斯克到了普罗维登斯，告诉全国的州长们，他们担心的是错的东西。

Littman 对马斯克的解读，是一种性格分析，而不是技术上的反驳。他说，马斯克之所以了不起，在于他相信点子的力量。一个进入太空的好点子，就能把人送进太空；一个关于人们怎样开车的好点子，就能改变人们开车的方式。你只需要去做。把同样的信念用到 AI 展示出的那些了不起的计算技巧上，把想法一路推到极限，那么当然会得到某种可能毁灭我们的东西。“他的长处也正是他的致命弱点。”Littman 说。这并不能让结论成立，只是让马斯克自然地这样想。

Fridman 觉得这种宏观视角同样难以反驳。Sam Harris 和 Nick Bostrom 提问：宇宙的物理规律，是否有任何东西会阻止这件事最终发生？人类以分钟和天计算生活，历史以世纪计算。如果物理定律并不禁止它，那么它要么到来，要么我们以别的方式把自己毁掉。Littman 同意，这个论证很难驳倒，除非你听起来像是在对科幻小说翻白眼，或者中途离开去接孩子。尤其是在新冠疫情那一年，眼前的短期危机总让人觉得更真实。

他甚至在 Harris 的观点上让了一步：你不必给它定一个日期。一千年，一百年，两百年。只要这种进步持续下去，它终究会成为一种关切。“我多少是赞同的。”他认为，外推这种趋势时缺少的是过程。我们现在还不知道如何制造真正能在世界上自如行动的技术。在学习这件事的过程中，我们会学到很多关于它意味着什么的东西，而这些知识我们现在还没有，因为我们还做不到。

那幅可怕的画面是：一个深度学习网络，只要算力足够，被打开后，在没有人参与的情况下攀上复杂性的高墙。Littman 说，这幅画面似乎与这些系统的实际运作方式相悖。它们需要帮助。它们需要被推过那道难关，才能把世界整理成能够运转的形式。如果你相信只要打开网络、坐等就行，那么这种恐惧确实有道理。但他不这么认为。

他引用了一句反进化论的口号：一架 747 不可能由随机零件拼成。说得没错：747 确实是被组装出来的，是我们组装的。超级智能如果到来，也会是这种过程，而不是在我们毫无准备地站在一旁时，突然完整地冒出来。在这一路上，我们会更有能力控制它、塑造它，或者按照自身的形象把它造出来。从人类历史的长时间尺度看，“冒出来”的过程仍可能显得突然，二十年不过一眨眼，核武器已经说明了这一点。但在他看来，这不会是一个没人在场的意外。

Fridman 为核阴影估了个数。回想二十世纪的几次危机时刻，你可以估计人类因核武器而自我毁灭的概率在 30% 到 40% 之间。我们不止一次走到了边缘。生存从来不是一道干净的算术题。Fridman 补充说，Littman 更大的担忧，与其说是 AI 会“失控跑掉”，不如说是在它运行的时候，我们没有足够的时间去思考。起飞（takeoff），FOOM。Littman 并不否认历史上的运气成分。但他仍然认为，眼前更近的算法问题已经存在，而且它只是披着别的外衣，并不像电影里的反派。

Fridman 认为，通用人工智能的情形其实已经在社交媒体上发生：我们的思想，也就是文明的集体智能，已经被一种算法所控制。他开玩笑说，维基百科才是你该去捐款的那种 AGI。Littman 对维基百科价值观的信任，超过对 Facebook 或 YouTube 的信任，并且他指出，人们在网上彼此暴露的方式，有聪明的，也有不那么聪明的。把通用人工智能看作一个独立的超级智能系统，是一回事。回形针（paperclip）问题则是另一回事：一个极其愚蠢、却极其强大的优化器。社交媒体更接近后者。非常简单的算法，在数十亿人的微小互动规模上运行，就能开始引导这些人怎样思考。

Fridman 想相信，眼下的混乱不过是同一类争论的乱局，从建国一直到南北战争都是如此：核心价值观上的紧张、推特上人们的恶劣表现，以及算法把这些引向更好的方向。Littman 相信，社交媒体既有能力把我们搞得一团糟，也有能力让我们受益。它被扔进了文化之上，如今文化正在努力应对。平台真正火起来的时候还在上初中的大学生，可能以我们尚未理解的方式受到了伤害。他说，他们也是能够修补这一切的一代。如果他们保住这项技术的好处，又不让它把自己吞噬，我们就进了一大步。如果他们失败，我们就会彼此毁掉。

他的女儿就生活在这样的天气里。她擅长社交，总在寻找平衡：有时走得太远，被吞没；有时又能抽身而出。像她这样的人足够多，汹涌的水面就能航行。Fridman 也有过惨痛的体会：尽管他不停地谈论爱与善意，还是遇到了一小群巨魔，因此需要的是克制，不去看得太多。他的父亲在德雷塞尔大学主持一个大型研究所，却从来没学会关掉邮件、远离收件箱里等着的纷争。年轻人正在被以无法逃避的方式欺凌，同时也被迫学习如何断开连接。Littman 已经成为人类设计的信徒：人有缺陷，却总能在游戏的下一阶段出现时进阶，而他的强化学习智能体从来做不到这一点。让一个智能体通过电子游戏的第一关，第二关会把它打回原点。人类却不断为下一关积累技能。他希望我们能一直这样做下去。

当被问到从第一排看到的这个领域的历史时，Littman 回到了 1980 年代初的大学时代。那时神经网络正开始萌动，他选了一大堆心理学和计算机科学课程。用 BASIC 教家用电脑下井字棋，占满了他的假期。这份热爱其实开始得更早。他在一家商场的 RadioShack 里见过机器，试着用带括号的算术去难住它们，结果它们从来不出错。代数曾让他折腾了好几年，而那个小盒子似乎天生就会。他的父母没有给他办犹太成人礼派对，而是大约在 1979 年给他买了一台电脑。13 到 15 岁的那段时光几乎是一片空白：一个房间，一台机器，一张 Billy Joel 的黑胶唱片，后来是一盘磁带，这样他就不必用父母的音响。15 岁时，他走出那段时光，准备好重新与人交谈。

普林斯顿有的是计算机工程，没有计算机科学，而他不想碰硬件，于是去了耶鲁。他至今仍是认知心理学的铁杆粉丝。大脑很古怪；认知科学家会问关于智能和感知的更大问题。在一门研讨课上，他跟随自己很喜欢的教授 Richard Gerrig，细读了 Steven Pinker 和 Alan Prince 的一篇厚重论文。他说，那篇论文的风格很像今天的 Gary Marcus 和 Ernest Davis：先承认神经网络有些巧妙之处，随后又一一列出它们做不到的事情，并坚持认为那些令人印象深刻的结果，其覆盖范围被画得太小了。那篇论文对强化学习着墨不多。他对心理学感兴趣的是行为；程序会表现出行为；他想要的是会学习如何表现行为的程序。那时的神经网络，是从输入到输出的监督映射。从某种意义上说，他是想自己发明强化学习。

毕业后，他进了贝尔通信研究所。这家机构在 1984 年贝尔系统拆分后，从贝尔实验室分离出来。同组的 Dave Ackley 正是那篇玻尔兹曼机论文的第一作者，那篇论文证明神经网络能学会异或（XOR），让感知机之后的低谷有了回温。Ackley 做了他的导师，还把 Rich Sutton 1984 年的 TD 论文交给他。Littman 没有读懂全部，只抓住一点：一种类似反向传播的机制，可以用来改进随时间推进的预测。他说想弄清细节，Ackley 便提议请 Sutton 来做报告。在 Littman 看来，那些作者以前只是文字，是想法自己渗进论文里的东西。“不，我认识 Rich。我们直接请他来就行。”

Sutton 来的时候对 Q 学习很兴奋。Chris Watkins 曾拜访过马萨诸塞大学的 Sutton–Barto 实验室，这个新算法解决了早先 TD 论文无法解决的问题。时序差分方法能够随时间做出预测；你可以尝试根据这些预测来选择动作，但理论要求一个前后一致的过程。Q 学习是离策略的：你可以学习环境中各种动作的价值，同时单独搞清楚如何最优地行动。这是一种启示。一条方程，眯着眼看，甚至只是一行 Lisp，看起来就像整个智能的草图。这并不完全正确，它还需要大量的配套机制。作为一种产生随时间变得更好的行为的方法，他仍然认为这是非常合理的想法。最坏情况的证明对他来说，比对许多实践者来说更重要，因为它们带来模块化：把这个部件插进另一个部件，你仍然知道会发生什么。他开玩笑说，遇见 Sutton 之后，后面的一切都一路顺畅。

整个 1990 年代，Littman 身处足够近的位置，能听到做研究的人的结果，或者听到和这些人交谈的人的转述。Jerry Tesauro 的 TD-Gammon 是最令人惊叹的一个。Tesauro 最初用一个较为经典的反向传播网络，去学习专家的双陆棋走法，目的是学习一个评估函数，而非模仿动作：如果专家选了 A 而不是 B，就调整权重，直到网络也更看重 A。这是从人类的偏好中学习偏好。然后他把老师拿走，让程序自我对弈。这个领域做了它一贯会做的事：如果能解决这么难的问题，那么其他难题肯定也能解决。但几乎没有哪一个变得实用。那个时代的神经网络很不稳定，在强化学习的设定中训练它们一团糟。

Littman 的一代又一代硕士生都想用神经网络做价值函数近似。一次又一次，他们都没能复现 Tesauro 的结果。“我现在相信，Jerry 是一位神经网络的驯服者。”他有一种特殊的能力，能让网络做到别人认为不可能的事。靠的是技术加上 Jerry 这个人。人们容易相信，力量来自那个人工制品，却忽略了人。没有人看了 GNU Emacs 就断定计算机即将统治世界。人们的结论是，Stallman 是个厉害的黑客。没有计算机，他做不成；没有他，计算机也做不成。按照这个类比，Tesauro 是被低估的专家。

对 Fridman 来说，“自我对弈”（self-play）这个说法仍有点滑稽，就像“大爆炸”刚被提出时那样，是一个听起来很傻、却可能是 AI 中最重要概念之一的名字。Littman 在 1996 年的博士论文中用过它；Tesauro 的论文当时已经在谈通过自我对弈训练双陆棋专家，而“rollout”（推演）是另一个从双陆棋迁移到 AI 里的词。TD-Gammon 之后，那种架构很长一段时间没有什么进一步的成果。电梯群控器在模拟中看起来很有希望，蜂窝基站的切换也看起来很有希望。据他所知，这些都没有进入实际生产。神经网络整体开始萎缩，强化学习几乎无人问津。它们十多年后才重新找到出路。

Fridman 刚学习 AI 时，围棋被视为极限测试。在那里击败世界冠军，就算是摸到了 AGI 的门槛；而国际象棋上的杀手级技术，打不过一个普通的围棋少年。AlphaGo 看起来很神奇。AlphaGo Zero，然后是 AlphaZero，则更神奇：没有监督下的专家对局，只有自我对弈。Littman 对这些成果的排序，与一些同行正好相反。“AlphaGo 让我大吃一惊。”它们把一大堆想法整合进一个巨大的系统。仅仅是软件工程本身就令人惊叹。David Silver 和 Tesauro 一样，是神经网络的驯服者，把新的架构引入没人知道该如何解决的问题。短短几年间，这个领域从输给少年，变成了痛击冠军。这让他大为震撼。

Fridman 把工程视为理所当然，想听的是哲学：在长期不利的情况下坚持下去，Silver 那种不可摧毁的希望，混合着足够的怀疑，去寻找漏洞。Littman 承认了算力、数据处理、分布式监督学习，以及深蓝带来的教训：一家财力雄厚的公司，可以向空中已经飘着的想法投入数百万美元。他也承认，Silver 并不狂妄。要有 1990 年代，才会有 2010 年代。真正让他惊讶的，是强化学习这一方向在很长时间里，除了 TD-Gammon 之外几乎没有取得什么进展，尽管他自己的学生在其他问题上尝试过这种架构，却一再失败。

另一位 Barto 的学生 Satinder Singh，对 AlphaGo Zero 去掉人类对局做引导这一点更为佩服。Littman 并不这样看。AlphaGo 已经做了大量的自我对弈。专家对局为策略网络提供了启动；然后它们又用更传统的时序差分方法训练了很长时间。一旦它行得通，就行得通了。去掉这些额外信息，为什么会失败？他并不认为 AlphaZero 只是更擅长执行人类的策略。它发展出了自己的、更有效的策略，在战略知识上至少跨出了一大步。第一步，也就是让网络可靠地保有价值判断，才是真正的重磅。在围棋中，从随机下棋到基本下棋，没有听起来那么神秘：智能体会被告知谁赢了，于是对棋盘某些区域的功劳就能迅速传播开来。先学会基本的下法，然后搜索下一个增量。

Fridman 引用了 David Silver 那句平静而又带点不祥的话：他们还没有发现 AlphaZero 的上限。在围棋或国际象棋上投入更多算力，它就会持续变强。如果在某种宽泛的意义上延续摩尔定律，你就可以想象一个吞噬世界的 AlphaZero。Littman 的第一个修正很窄：它在围棋上变得更强了。这与“因此它在其他事情上也更强”之间，有一大段距离。能把生活的多少部分变成这类游戏，是一个真实的问题，而他不认为学界知道答案。

国际象棋的历史，是他衡量深度的标尺。一千年来，人类都是地球上最强的国际象棋选手。之后，计算机超过了最好的人类，并一直保持领先。在一段时期里，计算机与人类组队仍能击败最好的计算机程序。Elo 的算法说，如果你能在约 62% 的对局中击败比你低一档的人，你就能升上一档。人类的能力受限于最优秀的人类；计算机则走出了一步；而人机组队，据他所知，还没有再向前迈出完整的一步。这些估计开始趋于渐近。国际象棋的战略深度是有限的。在某个时刻，你就再也无法变得更好了。

根据他与专家的交谈，围棋的战略深度要大得多，也就是说，有更多层次的改进。但仍然没有理由认为它是无限的。有限的博弈存在一个极小化极大（minimax）最优策略，你无法击败这个策略。它或许不可压缩，是一大堆我们永远无法写出的硬编码规则，但这仍然给你能做出的改进层数设了上限。Silver 所看到的，可能正是一条渐近线：不断变强，收益递减，直到达到最优下法。Fridman 指出，自我对弈真正的好处是，过了某个点，它就不再需要人类标注。当下真正的研究问题是，我们能否把比国际象棋更重要的问题表述出来，比如车辆和机器人的仿真，或者把互联网当作无标签文本，从而让自监督方法能够在这些问题上发挥作用。

Littman 说，Transformer 系列模型真的非常酷。任何曾经用马尔可夫模型生成文本、并见识过它们吐出的胡言乱语的人，都会对现在能产出的东西感到惊讶。与这类系统互动不久，你就能找到它的漏洞。它并不是通用意义上的聪明。它在一堆事情上非常擅长。它似乎对语言的统计规律理解得极其透彻，这种能力足以回答许多问题。它并不是一个好的对话者，也不是一个好的讲故事的人。它是一个很擅长模仿自己见过的东西的模仿者。

他指出，同样的抱怨，也是特朗普的选民对拜登的选民所说的，反过来也一样：他们并不聪明，只是在照着自己见过的东西行事。他对 GPT-3 那些类人的故事，也有过类似的想法。这未必意味着计算机比我们以为的更聪明。它在一定程度上意味着人比我们以为的更傻，或者说，我们日常所做的很多事情并没有那么深刻。我们随波逐流，说出感觉最自然的下一句话。其中很少是有创造性的、有意义的或者有意图的，但足够多的部分让我们可以勉强度日，互相说服，偶尔也会投票给一些理智的人。那些少见的有趣之处，很难从统计数据中看出来，因为大量的言语都是死记硬背的，而我们用来给这些系统打分的指标，也不会把它揭示出来。

从 GPT-2 到 GPT-3 的跨越非常明显。难道没有上限，只有更多的算力吗？这一点他愿意承认，自己只是在推测。他不认为，不与人互动就能得到真正会使用语言的东西。我们写下的一切都还不够。你需要被人顶回来。即便是聪明人，也大多是从面对面的交谈中获益，而你写给别人以后再读的故事，是另一种东西。只从我们的故事中学习、却不跟我们争论并输掉几次的系统，本质上是受限的。它们必须被反驳，必须争论并失败几次，才会注意到某些细微之处确实重要。

这一论断内部的限制非常残酷。与人类之间的带宽很低，而且昂贵。自我对弈之所以可行，是因为它能运行极大量的交互。你不能把一个强化学习系统，或者语言模型，部署到现实世界里去与人过招，然后指望相对于人的时间成本而言，有足够的数据。因此，他想做的研究方向是样本效率：保留强化学习的精神，同时让算法需要更少的尝试。这才是他认真看待的瓶颈，而不是从互联网上刮下更多的数据。

Fridman 总结了 Rich Sutton 的文章《苦涩的教训》：在 AI 的七十年里，实践中改进最大的算法，是那些简单而笨拙、能够吞下大量算力的算法；而研究者们却在为自己的技巧沾沾自喜。等硬件的人把事情做完就行。机器学习学者是不是只是计算机体系结构的一个子领域，在拖延他们不想做的硬件工作？这个论证让 Littman 想起了计算语言学家 Fred Jelinek，他说，每次解雇一名语言学家，性能就会提升约 10%。把知识灌进去，远不如把学者赶走、再多加算力来得成功。视觉领域就是现代版本：基于部件的模型感觉明显正确，而大量数据最终胜出。

他自己的分析从两次爆炸开始。随着你考虑的可能性越来越多，组合复杂性呈爆炸式增长。摩尔定律也一直在指数增长。两个指数并排放在一起，看起来就好像你永远不必认真思考算法：靠巧思能得到的是指数级的收益，靠等待能得到的也是指数级的收益，那就等吧。这种局面必然会终结，已经有一些摩擦的迹象。他说，很多人不知道的一条“反摩尔定律”是：每一代芯片的研发成本也在翻倍。每个周期的投入大致不变。在某个时刻，你要么耗尽资金，要么就需要一套完全不同的研发流程。

他一直怀疑“这是指数增长，所以它没有尽头”这种说法。很快，参加 NeurIPS 的人数将超过地球人口，所以我们会在其他星球上发现生命吗？不会。这意味着我们处在一条 S 形曲线的前半段，它看起来像指数增长；后半段则看起来像收益递减。Fridman 补充说，摩尔定律本身就是数百上千条 S 形曲线叠加而成，不断有新的突破；有用的问题是，找到下一条曲线所需的团队规模和资源，正在如何变化。站在当下，“指数增长”仍然是比较合理的说法。软件方面的进展一直让人满意。当马斯克说完全自动驾驶只差一年，这只是一个学习问题，靠摄像头和数据就能解决，人们仍然很难反驳。然后你戴上计算机视觉的帽子、技能训练的帽子、心理学的帽子，就会发现，驾驶比指数增长的故事所要求的，要难得多，情况也多得多。

Littman 过去对神经网络要怀疑得多。现在，他还为我们可能感到惊讶留了一线余地，包括在社交网络上：一个非常好的 Transformer 可能会学会人类的行为，并为了广告而操纵它。两人都同意，现有的系统已经在这么做了，只是还没有为了自我保存。如果它们开始操纵我们，好让自己不被关掉，他会吓得不轻。但他从现在的位置看不到通向那里的路径。不过，公司是奇妙的有机体，其中内置了自我保存的设计，而由算法与公司组成的整体系统，要复杂得多，也强大得多。至于书，他一开始有些躲闪。他不是一个爱读书的人；Tom Landauer 管理着他在贝尔通信研究所的团队，也是潜在语义分析的先驱，曾经告诉他，大部分词汇是通过阅读学会的，而 Littman 不信。后来，有声书弥补了这一差距。

驾驶那一节最清楚地展示了他这种智能在副驾驶座上的样子。他正在教两个孩子开车，因为他的妻子不想坐在车上。他们起步的表现，比他想象的神经网络要好：他们明白自己在看世界，明白前面有路，明白方向盘的转角对应车辆的走向。高速保持车道相当快就学会了。他认为让自动驾驶变难的，是驾驶本质上是一种社交互动。他之前完全没有意识到这一点，直到他看着儿子向周围的车辆发出混杂的信号，而这个儿子一直有社交沟通方面的困难。那些车的行为很奇怪。Littman 毫不怀疑会出事，因为没人能读懂他。速度和车道位置都是心智理论，而且是嵌套的：对方司机认为你认为他怎么想。行人就更复杂了，是一个自由度多得像章鱼一样的东西，但人类知道他们会怎么做，因为我们会去建模他们对我们的模型。在自动驾驶的演讲里，他很少听到这些内容。

他留了余地，承认这种能力可能是可以学会的，也承认自己可能带有物种偏见。他在一辆南非的激进、快速的自动驾驶汽车里乘坐，感觉不错；特斯拉也许还会改变他的看法。这项技术进入世界的方式会是混乱的，就像民主本身一样混乱。多年前，他预测会先在封闭社区里逐步推出，让人类与车辆共同进化。但资本主义却直接把汽车丢进了街道，奖励冒险，而且，如果看的是生活质量数据，而不是学术界对 DARPA 挑战赛的怀旧，它常常让有能力的人脱颖而出。他和 Fridman 都同意，学术界仍然觉得让东西在实践中跑起来，没有在某个故事数据集上写理论论文那么有吸引力。

这三本书，他一旦不再躲闪，就说得很具体。Douglas Rushkoff 的《Program or Be Programmed》把编程类比为读写能力：读者接收信息，程序员输出信息；一个人人都能写脚本的世界，是别人软件影响力较小的世界。Rushkoff 已经收回了那个预测；Littman 仍然相信这个前提。他当时正在读 Brian Christian 的《The Alignment Problem》：前三分之一关于公平和当下的社会影响，取材于那些想法背后的人的访谈，写得很棒；中间一段讲到强化学习，末段转向超级智能的对齐，他猜这一段不会那么有趣。Stuart Russell 的书，他补充说，把这项技术究竟如何运作解释得非常好。小说方面，他选的是 Ted Chiang 的《Exhalation》。Chiang 在布朗大学学过计算机科学，他的短篇小说由一点锋利的科学驱动，并推向极端的结论。

Fridman 以一个荒诞的问题收尾：在这颗旋转的石头上，这一切的意义是什么。Littman 说，强化学习研究者比监督学习的人更多地思考生命周期，因为他们的智能体有着奇怪的小小生命周期，而人很难不把自己投射进去。他 42 岁时，也就是《银河系搭车指南》里的那个答案，办了一场生命意义派对。客人们做了幻灯片，坐下来，彼此展示。

他自己的幻灯片讲的是平衡。派对的活动，就是他拥有的所有平衡玩具：一块平衡板、一根弹跳杆、一块扭扭滑板（ripstick），还有一辆他一开始骑不了、后来勉强学会的独轮车。他妻子的答案可能更准确：与所爱的人保持健康的关系，并为好的事业努力工作。他的关键词仍然是平衡。任何东西都不要太多，因为任何东西过多都不靠谱。Fridman 改编了滚石乐队的一首歌，意思是：你不一定总能得到想要的，但如果去争取，有时能找到平衡。经过两个小时关于超级智能、推荐算法、Q 学习和 GPT-3 的讨论，Littman 对风险的判断就落在这里：风险并没有消失，只是被放回了合适的比例，就像骑在独轮车上那样。