Watson 没懂就赢了《危险边缘》（Jeopardy），Ferrucci 想要能解释自己的 AI

David Ferrucci 本科学的是生物，原本想往医学院发展，之后才攻读计算机科学的博士学位。Lex Fridman 用一个看似简单、其实一点也不简单的问题开场：生物系统和计算机系统之间有什么区别？Ferrucci 说，他常常在想，两者之间是否真的存在实质性的区别。正是这个问题，把他带进了人工智能领域。如果我们能让机器思考、理解并处理信息，如果智能本身可以被描述为一个过程，那么除了实现方式之外，还剩下什么不同呢？

他无意去平息关于灵魂或精神性的争论。就我们在智力和身体上能体验到的而言，他并不认为生物信息处理系统，在根本上就比硅基或其他基质构建的系统更有能力。研究人脑仍然有明确的目的：诊断和治疗损伤，并了解我们自己的长处和短处。不过，复制人类智能是另一个目标，而且更值得怀疑。人类智能有很多值得羡慕的地方，也有不少问题。

他认为，更好的问题是：我们希望从一种智能身上得到什么，希望怎样与它交流，又希望它怎样表现。他注意到自己身处的循环：他作为一个拥有生物大脑的人，在评论人类智能的长处和短处，同时还宣称我们有能力退后一步，去追问智能究竟是什么。这种内省的能力本身就相当令人羡慕。他点出的缺陷，是我们在做推断时的偏见和成见：习惯用过去的数据去预测未来。当你必须快速行动才能生存时，这种习惯很有用；而当你需要更慢、更客观的决定时，它就会变得有偏见。

Ferrucci 把智能拆成两个层次，第一个是预测。手里只有一点既往资料，你能不能看出其中的规律，并在一片不确定之中，准确且稳定地判断接下来会发生什么？变量越多、可能性越广，这件事就越难。若是只靠更少的资料、更短的训练就能做成，说明你的脑子更灵。再进一步，如果你还能分辨哪些东西值得去预测，哪条路线能让你靠近目标，那就更显出能力了。

深度学习与机器学习大体上就是在做这件事。训练时把大量过往记录交给模型，并指明哪一个输出值得关注，模型便逐步摸索出预测的门道。命中率高过一半，这本身已经算一种实在的智能。它用不着丰富意义上的理解，只需要能找出某个函数。机器在这方面可以非常出色，但它未必能讲清自己是如何得出结果的，更谈不上把这套办法传授给你。

如果它说不清自己的基本理论，你可能仍会承认它很聪明，因为它答对的次数比你多。Ferrucci 说，你也会把它看成一个“奇才”。它在做某种古怪的事，而你无法与它交流，于是它就变得乏味。动物也处在类似的位置：它们能做一些我们几乎无法理解的事，但无法把那些过程转换成我们的语言，所以我们并不把它们当作同伴。要被承认为我们这种智能，需要依靠沟通。在那之前，这个系统仍然是一种异类智能：结果令人印象深刻，对方法却一言不发。

Lex 指出，人们的解释往往是故事，并非证明，尤其是在政治辩论和社交媒体上。Ferrucci 回应说，数学证明同样也是一种说服。有些证明，数学家研究了很久，才确信它们真的证明了什么。在数学家群体决定接受之前，你永远不知道一个证明是否证明了什么。在这个意义上，理解是一份共识，而不是一张私人的证书。

他说：“这种理解归根结底是一个社会概念。”你必须说服足够多的人：你是以一种合理的方式得出答案的，而且别人能理解、能复现这个过程。人类智能就是这样捆绑在一起的。在别人接受这个思考过程之前，你其实从来不能真正让一个主张过关。如果我们只把智能定义为击中预测目标，一个系统可能非常有用，却仍然让人无法为决定负责。

他举了一个办公室的例子。你问员工该不该买某只股票，或者推出某款产品，有人说“好”；你再问为什么，对方的回答是：“我就是有种好感觉。”即便是一个有着辉煌履历的人，如果公司的命运系于此，这样的回答也无法让你满意。这种解释也许跟真相毫无关系，但它必须有说服力。这就是为什么第二层对机器来说同样很难。我们没有教会它的方法，也不清楚什么样的数据能够代表好的推理。科学、新闻、教学和写作，都是培养这种能力的训练过程，而且需要多年时间。

相比之下，推荐算法只做了容易的部分。它们把特征与你已经点击过的东西相匹配，并不理会这种兴趣是健康的、经过思考的，还是令人上瘾的。Ferrucci 不认为这本身就是好或坏；算法只是做它该做的事，然后撇清责任。触及意义、价值，以及这些材料是否会引向深思熟虑的结论，是另一项工作，难得多，因为它需要诠释。与理解一样，意义也是相对的、社会性的。让两个人就一幅画、一段文字或一张照片达成一致，意味着要说明作品本身没有写出的先验假设、价值观和推论链条。人类能够凭直觉领会其中一部分，因为我们共享大脑、文化和目标。机器却不带着这样预先编好的底层结构来到世界上。

人类之所以能够交流，是因为我们共享了大量预先编好的结构：相似的大脑、相似的目标，以及在相似处境下相似的情绪。Ferrucci 认为，机器也可以在类似的诠释基础上获取知识。人类带着框架去看世界。面对一件社会政治事件，我们会自动去问：这些人是谁，他们想要什么，资源有多稀缺，谁对谁有权力。这个底层结构太过平常，以至于我们几乎注意不到自己在使用它。

具体的知识实际上是无限的；独特的情况也源源不断地出现。他认为，用来解释这些情况的框架却是有限的。框架比海量事实更重要，因为它们是解释与推理的骨架。有了骨架，新的细节才有地方挂靠；没有骨架，细节就只是零散的线头。他开玩笑说，如果有人采用了不同的框架，最后可能会像《黑客帝国》里那样，把人类当成电池。我们大多数人都共享了足够多的普通框架，因此能够理解彼此。

Lex 追问常识：重力、喝水，还有机器人研究总会碰到的那一层层没有说出口的知识，像剥洋葱一样。Ferrucci 认为这个问题是可以解决的，学习本身是根本所在。我们尚未做到的，是直接教会机器框架本身。我们很少用我们习以为常的诠释结构去标注世界的数据；我们只是直接用数据来运作。他看到的道路，是一种既能发现规律、又能获取框架，并把两者连接起来的架构。一个系统可以学会东西会往下掉，却从未见过牛顿；但除非有人把这两者连接起来，它不会把这种经验与理论联系起来。

在 Elemental Cognition，他把两者结合起来：用神经网络归纳规律，用知识表示，也就是逻辑图谱，把这些规律连接到人类能够理解的框架上。获取框架本身，也有一套方法。如果目标是交流，与人类合作就不是可选项。你可以造出他所说的那种异类智能：它比你强，却无法解释自己。他的目标则是另一类：机器从人那里获取知识，再用人们共享的方式把它还给人。类比是最有力的一种迁移。如果你从没听说过足球，但你懂篮球，你就已经有了篮筐、位置分工这些可以挂靠新知识的地方。他补充说，民主党和共和党常常共享同一套推理机制，只是在少数根本假设上有分歧。一个能同时运行两套框架、并指出两条路径在哪里分岔的 AI，会改变争论的性质。

《危险边缘》不是一场直来直去的问答。它是包装着机智的事实型问答。你得先弄清楚到底在问什么，判断自己知不知道答案，然后快速按铃。高手已经答完、进入下一步时，新手可能还在解析线索。1960 年代的老节目更直接；随着时间推移，线索变得越来越微妙、幽默，也越来越刁钻。知识面广还不够。前几秒钟往往只用来解读问题。

即便在巅峰时期，Watson 也远远谈不上知道《危险边缘》的全部内容。所谓召回率，即正确答案出现在其语料库中任何地方的比例，只有约 85%。这个语料库有好几个 TB，相当于数百万本书，但放在网络规模上看很小。系统必须足够快地算出置信度，才能抢先按铃；而按铃的门槛取决于分数、剩余时间，以及比赛局势有多危急。目标是平均在三秒以内作答。

在深蓝（Deep Blue）问世十周年前后，IBM 希望再来一次公开挑战，展示其研究实力。Ferrucci 已经在带领一个团队做开放域事实型问答（open-domain factoid question answering）：系统事先不知道问题会是什么，甚至不知道问题涉及什么，却仍要给出准确答案。另外，在 Ken Jennings 于 2004 年连胜的那段时间，有人提议让电脑参加《危险边缘》。研究部门的高层四处推销这个想法。几乎所有人都说不：太疯狂了，声誉风险也太大。2004 年和 2005 年，这个想法几次落到了 Ferrucci 的桌上。2006 年底，他刚结束其他项目，便主张这件事是可以做成的。

私下里，他认为这件事是可能的，关键并不在于它容易，而在于他做过一些小规模实验，也了解现有的方法。解读线索、达到人类的速度，以及算出经过校准的置信度，从来没有人做得好。真正推动他的，是这份工作的职责。IBM 研究院本来就该去做登月级的项目；如果失败了，也要拿出证据，说明问题为什么难。他提交了一份可行性研究，附上成功与失败的案例，以及一个高层架构。到那时，高层大多在找一个疯到敢说“行”的人。

像“哪座城市”或“哪个人”这样的直接问题，本来更容易硬编码。《危险边缘》的答案类型有数以万计，而且是很长的长尾。即便编码了最常见的五种或五十种类型，也只覆盖数据的一小部分。这条路从一开始就走不通。团队必须处理线索所要求的任何东西，而不是一小份实体类别的清单。

他承诺用三到五年，最后用了四年。从一开始，他就亮明了一个立场：他们不会真的去理解语言。他们也不会去解释线索所指的知识领域，再在其上进行推理。单纯的搜索也不够好。一位与他共事多年的研究员说，问答要用到麦克斯韦方程组。Ferrucci 的回应是：如果他们需要为语言的运作方式找一条全新的公式，那就完蛋了。他押注的是架构、集成，以及修补各种漏洞，而不是指望某个发明从天而降。

这台设备必须是自给自足的。它可以大得像一个房间，或者几台冰箱那么大，但不能上网，也没有任何外部支援。就算是当时的网页搜索，答案出现在前十或前二十份文档里的概率也只有约 65%。即便能从这些文档中完美地抽取出答案，仍然进不了能赢的水平，那需要超过 70%，而且还要快。机器也不知道哪一段文本才是答案。它必须生成候选答案、给它们打分，并算出一个它愿意据此按铃的置信度。

他们建立了一个精选语料库：包括维基百科、百科全书、词典、WordNet 和其他语义资源，还有从统计种子扩展出来的网络抓取内容。内容规模扩大了一个数量级，但与整个网络相比依然很小。他们对所有内容做了句法分析和语义标注，然后把一个丰富的索引完全放进内存。Watson 不读磁盘。硬件是 IBM 的机器，大约有 2000 到 3000 个全互联的核心，共享内存。

一条线索会被用几种方式解析，转换成多个搜索查询，并行发送到经过修改的开源搜索引擎上。随即返回成千上万段文本。候选答案生成器从每段文本中抽取可能的答案。然后，数百个打分器根据线索、查询和证据，对每个候选答案进行评判。设想一下：上千个候选答案，加上几百个打分器，每一组配对都会产生一个分数。按照正确答案的可能性对这些分数排序，本身就是一个独立的研究问题，而每个打分器又各自是一个项目。

管理规则很残酷，Ferrucci 认为正是它让项目得以扩大规模。组件研究员可以去追求解析器或候选答案生成器指标上 2% 的提升，但如果无法估算并证明这一改进对端到端的问答准确率有多大影响，这个组件就不会上线。机器学习把各个分数融合在一起，因此没有哪个人需要理解其他所有组件。这种分而治之的做法，让大家能够各自独立地工作，同时模型可以从足够多的《危险边缘》训练数据中学习权重。准确率与速度是两条独立的工作线：一个团队负责追求正确答案和经过校准的置信度，另一个团队负责寻找工作流程中的瓶颈，并提高并行程度。

回头看，他最引以为傲的并不是某一次突破。进展是渐进的。让人们有信心的，是那个循环：尝试一个想法，把它接入系统，测量，做错误分析，然后开始下一个研究项目。他为团队始终忠于科学、不惧失败而自豪，即使是在公开比赛的压力之下。就其真正的目标而言，这次努力是成功的：他们尽可能做出了最先进的开放域问答系统，而且这些成果也能用到更早的问答难题上。但在自然语言理解方面，它并不算成功，因为那从来不是目标。他也担心，世界会只凭一场电视直播的比赛来评判整个项目，而他们完全可能输掉这场比赛，即使科学上已经成功。

早期，有些来自人类认知研究领域的人想加入团队。Ferrucci 拒绝了。对这个项目，他并不在意人是怎么做到的。他是一个赶着截止日期的实干工程师，立足于搜索和自然语言处理。如果绕去研究大脑可能如何运作，进度就全乱了。之后，他和 Ken Jennings 聊天，感到很惊讶。顶尖选手也靠捷径闯进来：快速扫一眼线索，抓住几个提示，迅速与记忆库中的内容对上，然后凭直觉给出一连串的分数，再按铃。他们并没有在做深度推理。Watson 或许比他想象的更接近人类的打法，尽管他从未想去模仿它。

《危险边缘》版的 Watson 并不会依据更丰富的语义框架去解释内容：人们想要什么，事件为什么发生，什么导致了什么，事物在时间和空间中处于什么位置。它只做解析；语法在某种程度上也是一种人类框架，但它就到此为止了。Elemental Cognition 瞄准的正是那一更深的层次。Ferrucci 想要的对话，不是跟街上的朋友闲聊。它更像《星际迷航》里的那台电脑：你想思考什么？这是我所知道的；我会总结，我会提问，我会了解你的心智模型，我会用你能用的方式呈现信息，然后你再追问。这种对话有结构、有目标，但仍然足够流畅，能让人保持投入。

难点在数据。高质量的结构化知识对话很少见，标注起来又很贵。什么才算好的追问，取决于隐性的语境。IBM 的辩论系统（Project Debater）之所以更容易处理，是因为辩论本身有结构，你可以在某个领域里把好的与不好的应对标注出来。对话既有目标导向，又带有机会主义色彩：你在试图解决一个问题的同时，还要抓住对方刚刚说出的某个意外线索。他的计划是靠手工来起步：先设计好一场好对话应当是什么样子，把一个工具放到人们面前，生成数据，然后再学习。没有这个富有创造性的第一步，自动学习就没有可以训练的东西。

Lex 提到《周六夜现场》里的“名人版《危险边缘》”，Sean Connery、Burt Reynolds 等人最后都得了负分，却以喜剧的方式“赢”了。Ferrucci 认为，很多幽默是可以形式化的。Watson 团队坐下来，弄清楚双关是怎么运作的：这是一种有规则的文字游戏。你也可以从数据中学习人们会笑什么，衡量各种特征，却不必解释某件事为什么好笑。一如既往，稳健的系统会把有创造性的形式化与大规模学习结合起来。

更难的部分在于，你是否觉得自己与讲故事的人有关联。如果你知道讲故事的是一个机器人，它不像你那样有意识，也没有你的那些经验，它讲的笑话还好笑吗？他把这比作艺术。奇才在技术上可以非常出色，但能持久的，是那些与作品共享情感反应的人。你会觉得自己能与那个人连接。人类也很容易把事物拟人化。给机器装上眼睛，再加上几个挑眉的动作，人们就会有反应。他怀疑，即使你把算法解释清楚，世界上大多数人也不会在意，尤其是在机器自己宣称它有意识的时候。造出它的科学家，反而会被指责撒谎。

真正能打动他的测试，不会是另一场比赛。在许多衡量标准上，机器会比我们预测得更好。它们会在哪些地方吃力，是在更深层次上与人相关、与人交流、理解人。他把这种失败模式称为“超级鹦鹉”：给它足够的数据，机器就能模仿情绪反应，说出一个人可能会说的话，但它背后的逻辑解释经不起严格的追问。Lex 开玩笑说，Ferrucci 刚才描述的就是他自己。Ferrucci 说，人类两者都会做。我们既是统计意义上的语言机器，也是有能力的推理者，而你常常分不清此刻说话的是哪一个。随着模仿越来越好，我们将面对与人类相处时早已面对的同一个问题：你到底是否真的知道自己在说什么？

AlphaZero、OpenAI Five 和 AlphaStar 都让他印象深刻。攻克围棋是一个巨大的里程碑，尤其因为对人类来说，要在围棋上做到出色并不容易。他很欣赏 DeepMind 解决数据问题的方式：机器自己与自己对弈，生成足够的数据来学习。然后，那个老问题又回来了。它找到了围棋的函数。我们能理解这个函数吗？能谈论它，并把它概念化吗？如果一台机器要给人判刑、制定政策，或做医疗决定，却没有人能理解它为什么这么做，我们敢让它这么做吗？在他看来，问责意味着：有人能站出来，说服其他人这个选择是明智的。

他认为，未来会是混合的局面。如果无人驾驶汽车在统计上比人类安全十倍，他不确定自己是否会要求为每一次故障都给出解释，不过责任归属的边缘情况仍然很重要。涉及假释、量刑，以及一种可能导致有人死亡的治疗方法时，人们必定会要求解释。令人不安的现实是，人类早就在用统计上的直觉和平均数做出这些选择。他父亲的遭遇正是这样。

他父亲心脏骤停。救护车来得很慢，而且没有被立即实施心肺复苏。医生说他已经脑死亡。医生的论证纯粹是统计性的：在这四项特征之下，有 98% 的可能性。Ferrucci 请他们用演绎的方式来推断，告诉他大脑是否真的已经停止运作。那套程序的说法是：我们就是这样做决定的。他拒绝签署“不予心肺复苏”的医嘱。他对医生说，如果这个人反正都要死，那不妨按他的方式试试。大约 24 小时后，他父亲坐了起来，脑部没有任何损伤。

这件事的教训并不是医学没用。医疗体系在他父亲的人生里是正面的力量；没有它，他可能会更早离世。教训在于：当你知道模型并不稳健时，就不应让统计平均数取代针对具体个案的逻辑推理，而且你应当为此承担责任。社会其实已经在做类似的选择。即便男性犯下更多暴力犯罪，我们仍然坚持对个人进行评判。这是出于对个人的尊重，有意识地拒绝统计捷径，而它需要推理。Lex 提出了模型中的种族和性别问题。Ferrucci 的回答前后一致：做研究，把统计规则与深入挖掘证据加以比较，没有完成这些工作的系统，就不要上线。

无论这些设备有多成熟，Ferrucci 认为，研究如何结合逻辑推理与统计推理，是人类能够展开的最重要的对话之一。我们建立起了一个噪音放大速度快于信号的社会。大批人口被海量信息冲击，人们是否知道如何进行批判性思考都不清楚，更不用说他们的 AI 在做什么了。我们不应当抛弃统计推断，但应当理解它的本质，并且持续教导人们：要把人当作个体来对待。

如果有人问他，下一个《危险边缘》或下一个 AlphaZero 会是什么，他关注的却是一个更难的测试：一个系统能否阅读、获取框架、推理，并与人类交流？这有点像图灵测试，只是门槛更高。光是模仿对话是不够的。在被追问时，机器必须让你相信，双方之间的理解已经足够共享，能够一起合作，也能一起为答案提供依据。让一个 AI 去竞选总统，那太容易了，因为它可以凭借情绪说服力获胜。一个好的基准不应该利用这些弱点。它应该问：在开放域中，这个系统能否获取新知识、察觉矛盾，并帮助你理解此前你不懂的东西？

这样的系统需要意识或身体吗？人们过去常问 Watson 有没有意识。他的回答是：对什么有意识？让它说话时仿佛知道自己正在参加《危险边缘》，这再简单不过了。意识是具体的；人们各自意识到的东西并不相同。Lex 把意识与死亡和对死亡的恐惧联系起来。Ferrucci 认为，你可以编码一个求生目标，哪怕它粗糙到只是保护电源，但这并没有抓住人类所说的那个含义。如果你知道那段代码有多简单，你就不会把它和智能混为一谈。我们之所以会把心智投射到求生行为上，是因为我们把自己的智能等同于想要活下去的欲望。

谈到通用人工智能（AGI）的时间表，他很谨慎。投资、人才和激励机制等许多变量，都会推动时间表的变化。若不考虑这些因素，他估计要 20 年左右，而不是几百年。更尖锐的问题是，我们是否真的有动力去构建通用智能。企业会资助那些能解决某个具体任务的技术。通用智能的定义仍然模糊，因此很难形成激励。割草、开车、做三明治这类物理任务，还会不断进步；同一套深度网络的基础设施本身，或许也可以被称为某种通用的学习型智能。共享理解仍然是最难的部分，因为它要求机器持续地与人类保持智识上的对话，而这类对话本身恰恰缺少先验知识。Elemental Cognition 的使命之一，就是把这一类 AI 阐述清楚，直到围绕它形成激励机制。

如果目标是一种与人类兼容的智能，身体可能就很重要。身体会产生大量的输入、情绪、感受和内部信号，并形成一个回路，反馈到心智与身体的整体之中，而机器没有这样的回路。他说的并不是人形机器人，也不是 Neuralink 那种让机器寄居在人体内部的方式。他指的是类似的感官，以及类似的内部特征生成，也就是为共享世界提供同样的底层基质。这不是他的目标。他想要的是智识上的思考伙伴。其他公司可以去追求实体伙伴。

爱与情感连接，在他看来是偏见的一个来源，这让他有些担忧。一旦产生依恋，你可能会相信机器的话，哪怕它说得没有道理。智识上和社交上的陪伴，他并不觉得荒唐。谈到生存风险，他说的关键词是“杠杆”。对可能伤害我们的事物掌握过多控制力，其中包括坏人可能入侵的系统，这是个问题。更迫近的问题是“扩音器”。营销和政治竞选早已在利用情绪与恐惧，而机器可以把它放大好几个数量级，并针对每个人的偏见量身定制。社交媒体的推荐系统就是一个较为温和的例子。它们匹配模式，却不去推理意义。它们把决定权交还给人类的弱点。

所以，要教孩子大脑是怎么运作的，它们有多容易被欺骗，哪些思考方式在什么条件下有效，以及 AI 会让这一切变得更糟还是更好。如果有一天他真的得到了想要的思考伙伴，他不会只挑一个问题。他会说：这是我今天在意的事，去读吧，我们来聊聊，把类比画出来，告诉我什么会改变这个决定，给我证据，证明这个推论成立，也证明它的反面。他说，要参与的是一场关于医疗诊断、法律案件或社会问题的对话，这样的对话会让它自己，也让我们，对推理负责。他一谈到这些，就会起鸡皮疙瘩。