Steven Pinker：智能并不等于权力意志

Lex Fridman 开场抛出一道堪比期中考试的选择题：生命的意义是柏拉图所说的知识、尼采所说的权力、Ernest Becker 所说的逃避死亡、达尔文式的基因复制、虚无主义，还是 Pinker 早年暗示过的那种问题超出了我们认知能力的说法？或者以上都不是？Pinker 选了 A，然后又加以修正。最接近的是对知识的追求，但要把它拓宽为充实感：生命、健康、刺激，以及接触一个活跃的文化和社会世界的机会。

他划出了大多数励志演讲都会略过的一条界线：这种意义属于我们自己。如果去问我们的基因，它们的意义就是复制出自身的拷贝。由这些基因塑造出来的大脑，设定的目标则不同，两者未必一致。他说，知识只是人类追求中的一大部分，并非全部。人们还想要陪伴、美，以及自然世界的丰富。弄清宇宙如何运转，仍然是他个人的前五之一。

Fridman 问，对知识的渴望究竟是 Pinker 个人的口味，还是人性使然。两者都是，Pinker 说。我们之所以能去追求它，是因为它本就是让我们成为智人（Homo sapiens）的一部分。在动物中，我们获取并用于生存的知识之多相当罕见：工具、语言约定、毒物、对动物行为的预测、植物知识。这里的“我们”指的是整个物种，涵盖的远不止现代西方。正是这一点，让人类占据了每一个生态位，并把其他动物推向灭绝。对他来说，为了健康、幸福，以及社会和文化的丰富，而打磨理性，是当下的主要挑战。

二十年前，Pinker 在《How the Mind Works》中推测，思维可能从大量相互连接的神经元网络中涌现出来。Fridman 问，生物网络是否比刚刚开始奏效的人工网络，多了某种更复杂、甚至近乎神奇的东西。Pinker 的第一层是意识。每一个构成一个人的神经网络，都知道自己是有意识的：这不只是记录外界或内在状态，而是拥有主观的、第一人称的、现在时的体验。红色不仅与绿色不同，它还有一种他能感受到的“红”。

人工系统会有这种东西吗？他不知道，也不认为自己能知道，这就是谜题所在。假如一个机器人在行为上与人类无法区分，我们会不会、又该不该把意识归于它？很难说。接着，他先把这个哲学谜题放到一边，转而提出一个工程问题：今天的神经网络，组织方式是否与我们相差太大，以至于一个栩栩如生的机器人已经偏离了现有的发展轨迹？

他说，两者既有重叠，也有很大差异。当前所谓的深度学习系统，其实并没有那么“深”。它们很擅长提取高阶的统计规律。其中大多数没有语义层面：并不真正理解谁对谁做了什么、为什么、在哪里、事物如何运作，也不知道什么导致了什么。单靠规模买不来结构化的知识。不过，如果系统经过适当的工程设计，为什么不行呢？自然选择对我们的大脑做过一种工程。原则上没有什么能说明硅基不能做大脑所做的事。能不能做到，取决于工程设计有多巧妙，以及克隆一个人究竟是不是合理的目标。

Pinker 首先举了运动的例子：有没有一种移动系统，能比得上人类？最终我们会想在腿式运动上胜过人类。物种本身没有理由成为标杆，工具完全可以做得更好。有些自然系统我们至今仍无法完全替代，原因并不神秘。那只是因为，当自然界的东西已经摆在那里时，一步步去匹配它的每一种特性，是一种很不划算的努力。

木材就是一个例子。我们今天仍然用它来搭房子、做家具。我们喜欢它的外观和手感，它有合成材料所不具备的特性。木纹里并没有藏着什么神秘的东西，我们只是没有费心去复制木材的一切，因为我们有木材。下一个例子是棉花。Pinker 身上穿的就是棉质衣服，它的手感比涤纶好。棉花并没有什么神奇之处，也没有任何禁令阻止我们合成它的“孪生物”。到了某个时候，它就是不划算。我们已经有棉花了。

他把人类智能也归入了同一类。与大脑一模一样的人工系统，是他怀疑没有人会一路追到底的目标。如果你想要的是超越人类的工具，那你就不会在意它们是否与人相似。诊断癌症，并不构成把智人设为评分标准的理由。Fridman 补充说，即便不应该去复制人类，研究人类仍然能学到很多东西。Pinker 同意，就像飞机设计师研究空气动力学时会研究鸟类，却不会去造扑翼的机器。定律相同，机器不同。

Fridman 转向安全问题。对一些研究者来说，AI 的生存威胁不仅可能，而且显而易见；对另一些人来说则不然。马斯克属于前一派，他说 AI 比核武器危险得多，很可能会毁灭文明。2 月份，Pinker 曾半开玩笑地说，如果马斯克真的认真，就应该停止制造特斯拉的自动驾驶汽车。马斯克在推特上回应说，如果连 Pinker 都分不清狭义 AI 和通用 AI（后者的算力要高出一百万倍，而且有一个开放式的效用函数），那人类就陷入了深深的困境。

Pinker 叹道，这并不是马斯克最后一条失态的推文，然后把关于末日的论述一分为二。第一种恐惧是模糊的接管：就像我们曾经征服动物和技术较落后的民族那样，比我们更先进的东西也会把我们变成宠物或奴隶。他的诊断是一种范畴错误。在智人身上，尤其是男性身上，智能与支配、剥削和对荣耀的渴望绑在一起，因为我们是竞争性自然选择的产物。单纯的问题解决，本身没有理由把支配设为目标。它的目标，就是我们设定的目标。

给一个系统设定最大化自身权力的目标？他说，对一个自主系统来说，这是个愚蠢的目标，你不会给它设定这样的目标。历史上有很多时刻，工程师本可以植入破坏性的力量，却选择不这么做，因为工程通常就是这样进行的。Fridman 指出了一个例外：武器，其目标就是摧毁人。Pinker 同意，有充分的理由不去制造某些武器。他说，制造核武器是一个巨大的错误。

Fridman 追问历史。核弹是否应该更早被遏制？还是说它只是一项不幸的发明？它本来又能不能被遏制？Pinker 说，时间很难倒回去。核武器诞生于二战期间，当时人们担心纳粹会先造出来。一旦因为这个原因启动，项目就很难停下，尤其是在打败日本和纳粹成为每一位负责任的人的压倒性目标时。如果没有那场战争，核武器或许永远不会被发明出来。他不认为它们是必需的。

其他一些噩梦式的系统也曾被构想出来，却从未投入使用：让农药喷洒机把毒气撒向城市，策划诱发地震和海啸，制造气象武器，乃至利用太阳耀斑当武器。后来人们都收回了这些念头。接下来是他希望大家牢记的一个结论：拿核武器来类比人工智能，根子上就站不住脚，因为核武器的存在意义是毁灭，人工智能的意义却与此截然不同。

他用更清晰的说法重述了第一种恐惧。目标与手段是分开的。如果我们不设计一个系统去最大化支配，它就不会去支配。我们之所以把高智能与权力意志混为一谈，是因为我们熟悉智人，而在智人身上，两者是绑在一起的。这种熟悉感是一种错觉，并不是智能系统的规律。

第二种恐惧是附带伤害。给机器设定一个做回形针的目标，它还没等我们眨眼，就把我们变成了回形针。给它的目标是治癌，它就把我们当成致命的实验小白鼠。给它的目标是世界和平，它就会注意到，一个没有人的世界里就没有战争。Pinker 认为这些情景纯属异想天开，更糟的是，它们自相矛盾。它们假定我们聪明到能设计出能治癌的 AI，却又笨到说不清楚，治癌并不包括杀死我们。

它们还假定，这个系统聪明到能治癌，却蠢到察觉不到“治癌”并不意味着杀死所有人。依他的理解，“价值对齐”版本的故事，也建立在同样的误解之上。Fridman 承认了一个现实漏洞：没有人知道如何构建这两种系统，也没有人接近这一步，而这种情况可能在一夜之间改变。在这期间，脱离实际工程去做理论推演，正是想象力失控的典型路径。

Fridman 提到特斯拉的 Autopilot，称它是当时世界上规模最大的 AI 应用之一，可能带来非常积极的社会影响。那么，一个在打造这种狭义系统的人，为什么会如此大声地担心通用 AI？Pinker 说，你得去问马斯克。他以张扬、冲动著称，近来这些特质甚至损害了他自己公司的健康。Pinker 不知道他脑子里在想什么。他也不认为“专用与通用”的区分是关键所在。

专用 AI 不会为了达成目标，去做任何能想象到的事情。工程系统要在多个目标之间权衡。人们最初造汽车时，并没有因为“汽车的目标是跑得快”，就忘了装刹车。他们想要的是快，但不是一味地求快。同理，一辆自动驾驶汽车接到去机场走最短路线的指令时，也不会斜穿过去，把行人、树木和栅栏统统撞倒。那不是我们说的最短路线。按定义，智能系统会把多重约束都考虑在内。

所谓的通用智能更是如此。如果它真的具有智能，就不会只盯着一个目标，忽略所有其他考虑和附带效应。“那不是通用人工智能，那是人工愚蠢。”Fridman 同意自动驾驶在人道层面的前景。仅在美国，每年就有大约 40000 人死于公路交通，远远多于恐怖主义造成的死亡人数。美国为应对一种风险发动了一场战争，花费一万亿美元，而这种风险在大多数年份只夺走大约六条人命；与此同时，公路上每年却有约 40000 人丧命，而这个数字本可以降到接近于零。

作为造车的人，Fridman 对工程师会笨到不把安全考虑进去的想法，多少有些不快。他常常为这 40000 人彻夜难眠。让他兴奋的每一篇 CVPR 或 NIPS 论文，都立足于让整个技术栈更安全。他看不出这条轨迹怎么会突然滑向让智能成为极其负面的力量。Pinker 也同意他的看法，并说，汽车只是 AI 人道主义效益的开端。

Pinker 说，人们投入了大量关注，去关心那些工作会被 AI 淘汰的人。却很少有人注意到，那些工作本身就很糟糕。人们将不再需要去采摘庄稼、铺床、开卡车、挖煤。那些工作消耗人的精神，往往也很危险，而我们早就有一批同情被困在其中之人的文学作品。在他看来，消除这些工作，是人类的一大福音。

解决了一个问题，又冒出另一个问题：这些人如何获得体面的收入。Pinker 的赌注很简单。如果我们聪明到能发明出会铺床、会收拾餐具、能照料医院病人的机器，那我们也就聪明到能想办法，把节省下来的巨额经济收益，分出一部分给那些不再需要去铺床的人。通常的讨论默认这些工作值得保留。他把这个假设翻转过来：如果一台机器能铺床，那么你是失去了意义，还是获得了自由？

Sam Harris 的主张是：AI 作为生存风险，迟早会显现，只是具体时间不明，所以现在就该警惕。Fridman 觉得这一论证颇耐人寻味，并问，面对一个我们几乎没有摸透的威胁，该怎么去想？它也许明天就来，但更可能要等上一百年。Pinker 先反问：这个“它”指的是什么？是奴役人类，还是回形针？Fridman 说，Harris 讲得最有分量的，是回形针那个版本。Pinker 则认为那完全是科幻式的臆想。别去搞出那种系统，也别给它那种目标。工程学的头一条准则就是：在充分测试之前，不要让一个掌握巨大控制权的系统上线。

如果工程文化发生了根本性的改变，他才会担心。他看不出工程师有突然把未经测试的系统交给发电厂掌控的迹象。那些末日情景还赋予机器近乎神奇的能力：治癌，这可能是一个前后矛盾的单一目标；世界和平，这几乎算不上明确的规格；再加上掌控宇宙中的每一个分子。这种掌控本身就不太可能，而且我们也不会在未经测试的情况下，把这样的系统接入基础设施。不负责任的工程师当然可能存在，这正是法律和责任追究的用处。他从未见过哪个足够可信的生存威胁情景，值得他投入大量脑力去加以防范。

递归式自我改进，也就是突然的阶跃，所谓的“Foom”，同样是魔法式的思维。如今令人印象深刻的技术，比如深度学习，要在成千上万乃至数百万个样本上训练。治癌根本不是数十万个同类问题的数据集中的典型条目。他说，过去五年的方法，并没有指向一夜之间的指数级自我改进。Fridman 指出，Harris 把“AI 终结文明”的想法称作一种智力上的乐趣，像是《黑镜》的一集，或是陨石预警。Pinker 并不觉得它好玩。在流行病、网络安全、核战争和气候变化已经把议程排满的时候，他觉得这是浪费时间。

他确实承认 Harris 有一点说得对：存在一个“理性社群”，喜欢发明普通人没有想到的担忧。其有害的一面，是恐惧和宿命论：死法太多，我们不如及时行乐；如果气候没把我们干掉，机器人也会。你没法对所有事情都担心。散布恐惧，可能让人麻木，以至于去砸毁科学基础设施，或者干脆放弃一切。认知心理学的一个基本发现是：人们感知到的风险（进而是恐惧）是由可想象性驱动的，数据对此影响很小。这正是一个国家为恐怖主义投入一场战争和一个新的政府部门，而恐怖主义每年只夺走大约六名美国人生命的原因；与此同时，交通死亡、流行病和核战争却几乎得不到足够的关注，包括在总统辩论的舞台上。把恐惧的预算校准到实际的伤害概率上。

Fridman 提到 Joe Rogan。Rogan 用理性扫除了大脚怪和 9/11 阴谋论的残余，在 Pinker 看来，他已经成为一股真正的正面力量。Pinker 曾上过 Rogan 的节目，却几乎没谈 AI；他原本还要再去一次。Rogan 代表了很多从 10000 英尺的高度俯瞰这一话题的人，他对存在性威胁感到担忧。如果 Pinker 要指导一位 AI 研究者，教他如何与 Rogan 和公众交流，简短的回答是：去读一读《Enlightenment Now》中关于 AI 的章节。

更长的回答，是强调工程文化。它以安全为导向。在《Enlightenment Now》中，Pinker 描绘了飞机失事、车祸、工伤乃至雷击造成的意外死亡曲线。这些曲线骤然下降，因为这种文化的核心，就是尽力压缩致命风险。死于火灾、溺水和窒息的人数，也都随着工程进步而下降。他说，直到看到那些图表，他才真正体会到这一点。之所以会有这种文化，是因为像 Fridman 这样的人，会整夜思考自己的发明会不会伤到谁，然后动用智慧去阻止它。

Pinker 在麻省理工学院工作了 22 年。在他看来，这就是工程师的思维方式，关键是不能让这种文化在人工智能上突然被关掉。有理由认为会这样吗？他不这么看。Fridman 说，需要更多工程师站出来，表达对这项技术的兴奋和积极看法。Pinker 同意：他们正在尝试发明的一切，都是为了给世界带来好处。

Fridman 提出了一个与 AI 无关的心理学问题：无论话题是什么，对未来持负面看法，似乎都会让人显得比持正面看法的人更聪明。这是真的吗？为什么？Pinker 认为这一现象确实存在。他引用讽刺作家 Tom Lehrer 的话：总是预测最坏的结果，你就会被奉为先知。这可能是整个物种负面偏误的一部分。我们对负面的东西比对正面的东西更敏感，对损失的恐惧超过对收益的享受。这种不对称为先知们留出了空间，让他们提醒我们可能忽略的伤害。

然后，Fridman 问，哪些早期的书重塑了 Pinker 的世界观。《Enlightenment Now》受惠于 David Deutsch 的《The Beginning of Infinity》：问题不可避免，在掌握正确知识的前提下问题是可以解决的，而解决方案又会制造新的问题，需要接着解决。一本默默无闻、自费出版的书，James Payne 的《武力的历史》，讲述了暴力在历史上的衰退，它帮助启发了《The Better Angels of Our Nature》。年轻时，他很喜欢 George Gamow 的《One, Two, Three… Infinity》，时隔七十年，它依然很有趣。他还喜欢母亲订阅的 Time-Life 科学丛书，尤其是关于心智的那一卷，它让他相信，或许真的存在一门关于心智的科学。

后来，还有 Chomsky 的《Reflections on Language》，Dawkins 的《The Blind Watchmaker》和《The Selfish Gene》，它们既讲内容，也示范了如何用生动的文字解释抽象概念；还有 Stephen Jay Gould 的《Ever Since Darwin》，以及 George Miller 关于语言和交流的著作。George Miller 就是那位提出著名的“7±2”记忆组块理论的人。这场对话没有下结论，这恰恰是重点所在。Pinker 的办法，是把 AI 恐慌和其他风险放在一起，按概率来排序，不要按大脑能把结局描绘得多生动来排序。