没有类比，就没有概念

Lex Fridman 开场提到 Mitchell 的书《Artificial Intelligence: A Guide for Thinking Humans》，也提到他自己节目的名字。他借用“玫瑰换个名字还香不香”的老问题：她怎么看待给整个领域贴标签的这个术语？Mitchell 不太喜欢它。它对不同的人意味着太多不同的东西，而“智能”本身几乎没有定义，种类、程度和路径太多，很难钉住。

Mitchell 说，John McCarthy 在 1956 年提出 artificial intelligence（人工智能）这一说法，部分是为了把这项工作与当时相关的运动控制论（cybernetics）区分开。据她读到的资料，他后来对这个选择颇有遗憾。Herbert Simon 推的是“复杂信息处理”，但没有成功。Mitchell 承认，那个替代说法可能同样模糊，但会吸引另一批人。她自己是被智能这一现象吸引进来的；如果这个领域用的是 Simon 的名字，她可能就在做别的事情了。

问题不只在 intelligence 一词。cognitive systems（认知系统）也有包袱，人们爱把认知与感知切开，Mitchell 不认同。1990 年她离开研究生院时正值 AI 寒冬，有人劝她别把 artificial intelligence 写进简历，流行的说法是智能系统。这个领域的历史，就是人们反复说清自己在讲什么：从 John Searle 的强 AI 与弱 AI，到通用人工智能（AGI），再到 Yann LeCun 偏爱的人类水平的智能（human-level intelligence）。

早期，许多人认为，不具备通用的人类水平智能，就下不好国际象棋。等到计算机下得比人类更好，人们就修改了这一看法：也许国际象棋从来就不是测试。Mitchell 说，这是贯穿整个领域的主题。机器一旦能做某件事，我们就回头说，这改变了我们对智能的理解，因为我们不愿意把机器称为有智能的。

这条界线会一直往后移吗？她原则上看不出理由说我们造不出一种我们会视为有智能的东西，尽管她不知道我们如何确定它是。我们对智能的看法可能需要不断打磨，直到我们终于弄清自己的意思。能抵达那里的机器，可能与我们现在的机器看起来很不一样。她认为，一个附带的结果会是，我们能更清楚地看到自身的类机器特质：细胞是机械的，它们运行算法、处理信息，而大量细胞之中，不知怎么就涌现出了我们称为智能的性质。

如果让她打赌，她认为，在没有相当程度地理解自己心智的前提下，要创造出智能是不可能的。这仍是一个很大的未解问题。大数据和巨型网络所依赖的暴力方法能走多远，让她感到惊讶；她本来没有料到，而这些方法与我们心智的工作方式毫无关系。计算机在乘法和路由方面已经比我们聪明。真正会动摇一个人人性感的，是很个人的东西。她的前导师 Douglas Hofstadter 认为，一个能创作出美妙音乐的程序会令人恐惧，因为音乐处在人之为人的核心，而语音识别并不在那里。

这个领域一直很不擅长预测自己的未来。Mitchell 认为，随着领域走向成熟，这一点会有所改善，而根本的失误在于我们对自身智能的理解有多么少。她证实了那个著名的故事：Marvin Minsky 把计算机视觉作为一个暑期项目交给了本科生。那份提案基本上列出了计算机视觉的根本问题，其中许多至今仍未解决，每个人都应当读一读。Minsky 极其聪明，是一位成熟的思想家。他仍然低估了这件工作。

原因很具体。我们所做的事情对我们自己来说太隐形了，因此它们感觉不像是工作。望向世界并描述所见，是瞬间完成的，感觉上毫不费力。底下其实运行着大量的无意识计算，这就是为什么我们会高估让计算机去做这件事有多容易。Mitchell 在书中引用某人的话，说人类水平的智能与诺贝尔奖之间隔着一百个。她喜欢这个单位，因为它意味着还有许多重大发现有待做出。当然，AI 领域没有诺贝尔奖。至少目前还没有。

被问到数字时，她说要超过一百年。她的猜测是，这条路径必须经过理解我们自身的认知系统，而不是把今天的机器学习拿来，随着硬件和数据指数级扩展。现有方法会在狭义 AI 上变得更好，但她认为它们有根本限制，包括来自有监督学习和前馈网络的弱点。Fridman 很纠结。他同意，同时也越来越惊讶于这些方法能走多远；他认为它们会比怀疑者承认的更能打动人，而人类水平的智能仍远比任何人意识到的要遥远。Mitchell 承认，这些方法比人们认可的更强大。她仍然不认为这条路线能够持续。

她写书时感到的意外，是领域里的人对于它已经走了多远、接下来会发生什么，看法相差如此之大。一派是奇点与超人类主义阵营：我们正处在指数曲线的陡峭段，未来 30 年内，我们会看到超级智能的 AI，并把大脑上传。Mitchell 说，大多数做 AI 的人不同意这种看法。另一派跳过奇点，但相信当今的深度学习能一路扩展到人类水平的 AI。他们中有不少人就在大型科技公司的 AI 团队里，他们倾向于认为我们离目标没有那么远。

Yann LeCun 是第三极。他仍然期待诺贝尔级别的突破，但认为这些突破将建立在深度学习之上。有监督学习不可持续；无监督学习才是关键。Mitchell 认为这可能是对的，而以人类的方式进行无监督学习，会比人们想象的更难。Gary Marcus 持一种混合观点：深度学习是一个模块，符号方法必须回来，而没有人知道如何把两者连接起来，哪一层是地基，哪一层是糖霜。还有因果派，他们说，按今天的方式表述的深度学习没有因果的概念，因此注定失败，除非给它一个因果概念。

认知科学的一派推崇发展式学习（婴儿如何学习）与直觉物理学。有人打趣说，机器也需要直觉形而上学：物体存在，因果存在，那些我们可能天生就具备的东西。一个看到一堆像素、并得到 1000 万个样本的系统，仍可能学不到世界上存在物体。这些观点并不互相排斥；她注意到，LeCun 同意发展、因果和直觉物理学的重要性，但仍然认为学习可以在几乎没有先天结构的情况下一路走到底。Mitchell 自己同情认知科学这一边，她当初正是这样进入这个领域的，而且她已经越来越像一名具身性的支持者：没有身体，就很难学到我们需要学会的关于世界的东西。

1984 年，作为新入学的研究生，Mitchell 加入了 Douglas Hofstadter 的团队，开始研究 Copycat，一个在字母串构成的理想化世界里进行类比的程序。Hofstadter 的观点，她引用自与 Emmanuel Sander 合著的《Surfaces and Essences》，认为类比并不属于智商测试里“鞋之于脚，正如手套之于手”那类谜题的范畴，它是思考的核心，在语言、思维和感知中无处不在。没有概念就没有思考，没有类比就没有概念。Mitchell 说，这句话应当成为 AI 的箴言之一，她还补充了自己的一句：如何形成概念并灵活地使用概念，是这个领域最重要的未解问题。

Copycat 是一个基于智能体（agent）的系统，灵感来自早期的黑板架构（blackboard architectures）。一些小型探测器把发现贴到共享工作区里，标出诸如字母表中连续一串字母之类的群组，并在它们之间建立联系。给定 ABC 变成 ABD，那么 DEF 应当变成什么？程序需要预先内置字母表、字母后继的概念，以及相同性的概念。它的所有概念都是先天给定的，这是他们有意接受的一个严重局限。问题不在于概念如何从零形成，而在于如果你已经有一些概念，如何把它们灵活地应用到新的情境中。

她说，概念是思考的基本单位，嵌在与其他概念之间不同距离的空间里，人们时刻都在把它们组合成新的复杂组合。类比，就是认出一种情况在本质上与另一种情况相同，关键词是“本质上”。三天前，她在华盛顿接受过一次播客访谈。人、麦克风、问题和大楼都不同，但那是同一类事件，而“播客访谈”本身，对她来说也是一个新概念。一个朋友对完全不同的情况说“这事也发生在我身上”，他其实就是在做类比，连“类比”这个词都没有用。

她把这一主张推到了普通的感知上。每次她认出 Fridman 是一个人，那就是类比：她有“人”的概念，并把它应用在他身上。看到有人遛狗也一样，细节总是不同。感知接收原始的感官输入，把它整合成对世界的理解，并更新这种理解，整个过程就是一大团类比。她认为，要把这个工程化，就归结为内部模型。有些心理学把概念看作心理模拟，能生成预测和期望。在大脑中，这些模型是高度相互连接的。

Fridman 问，如果要把人脑里的概念网络画出来，它会有多大。Mitchell 甚至不知道该用什么单位。大约 1000 亿个神经元、数万亿个突触，既有化学编码也有电编码，放电率没有人完全理解：容量看上去极其庞大。我们所知道的，并不是一堆事实。它被整合进一个整体，我们能在其中进行类比。这就是为什么她与那个古老的梦想保持距离：把维基百科变成一个用于类比的知识库。人们构建语义网、专家系统，还有像 MIT 的 ConceptNet 这样的项目，已经很久了。常识问题在于，我们的大部分知识对我们自己都是隐形的。它不在维基百科里。

如果为直觉物理学和直觉心理学建一个网站，它会比维基百科大还是小？她说，这取决于你向谁描述它。表示才是真正的难点。她可以写下 F=ma 和牛顿定律，很多物理学都能从中推导出来，但这大概不是机器进行我们希望的推理时最好的知识形式。Doug Lenat 的 Cyc 项目试图把全部常识，包括隐形的那部分，编码成逻辑表示，而她认为它没有做到他所希望的事情。不过她仍然敬佩他。他是最早说专家系统达不到 AI、常识才是真正目标的人之一，并为此放弃了学术生涯。她认为这种方法本身行不通，除非后来的历史书写道，Cyc 在 2058 年找到了突破。

在硬件方面，她没有那么神秘。图灵计算大概就足够了；她没有看到 Roger Penrose 所主张的、智能需要连续数值和量子力学的证据。我们已经发明了所需的机器。我们还没有发明正确的算法和架构，而她不认为能把当前编程它们的方法简单放大。她自己工作中有前景的方向，是主动生成模型：一种心理模拟，它产生预测，告诉你该看哪里，并与自下而上的输入混合，直到这种混合本身就是感知。看到有人一边牵着牵引绳一边骑自行车，她能把它映射到遛狗上，注意到差异，并猜出他们是在锻炼，而不是在通勤。深度网络可以在 Hubel 和 Wiesel 的精神下构建特征层级，但它们对图像的每个部分都施加同样的滤波器。它们缺少那种概念性期望，告诉你这一区域无关紧要、那一区域才要紧。

Fridman 问，暴力学习能否一路走到底，就像鸟可能批评飞机并不真的在飞一样。Mitchell 认为不能。这仍是一个开放问题，但她倾向于先天论一边：有些东西是我们经进化而学会的，没有它们，学习就无法发生。她的例子是 DeepMind 在雅达利游戏上的工作。一个系统从屏幕像素中学会了《打砖块》（Breakout），并且玩得比人类高出 1000%。它甚至找到了从砖墙侧面挖隧道的技巧，让球能从天花板弹回来，把砖块一扫而空。

另一组研究者随后把玩家的挡板向上挪了几个像素，然后让一个训练好的深度 Q 学习（Deep Q-learning）系统去做迁移。人类毫不费力，系统却做不到。Mitchell 承认原本的结果令人难以置信地印象深刻，她的重点是这个智能体并没有学到挡板的概念，也没有学到球的概念，或隧道的概念。它学到了某些东西。我们看着它的行为，就以拟人化的方式用我们的语言去描述它。正因为那些概念并不存在，迁移才会失败。

Fridman 反驳说，移动挡板这件事本身也注入了一个拟人化的假设，然后却因为系统没能通过而给它打分。雅达利的结果，连同 AlphaGo 和自我对弈，仍然在深层次上让他感到惊讶。Mitchell 并不否认这种惊讶。她所问的问题是，这些系统是否学到了人类认为相关的概念。在挡板处于许多位置的情况下训练，也许它就会学到那个概念；她并不确定。把同样的方法放大到更复杂的世界，一台只拿到原始数据的机器，在多大程度上能把世界划分为相关的概念？她不知道，但她敢打赌，没有某种先天结构，它做不到。十年前，Fridman 会百分之百地同意。自我对弈让他心中留下了一丝希望。Mitchell 承认，自我对弈有惊人的威力，这条线索可以追溯到 Arthur Samuel 的跳棋程序。

Fridman 研究自动驾驶，Mitchell 则用驾驶作为一个看似简单、实则一试就知道很难的问题的例子。世界是开放式的。在正常条件下，天气不错时，现在的汽车表现不错。麻烦在长尾：太多事情可能发生，而这些事情不在训练数据中，系统也没有常识来应对它们。这就是挡板被挪动了，只不过是在城市尺度上。她的看法是，当前的视觉系统无法分辨哪些障碍物需要停车，于是它们猛踩刹车，而最常见的事故，就是被一个没料到会突然刹车的人类司机追尾。

Fridman 把问题拆成感知与决策两部分。许多带安全员的 L4 级自动驾驶车辆（Waymo、Cruise 之类）非常保守。它们的决策对任何可能是障碍物的东西都反应过度，这在周围的人看来就显得不可预测。人类司机也很谨慎，但他们同时也赶时间，有时还会生气，尤其是在波士顿。他补充说，公司宣传深度学习，部分是为了招人，而激光雷达（lidar）等传感器仍然承担着大量可靠的检测工作。特斯拉押注视觉优先。马斯克把激光雷达视为拐杖；如果你想学习，摄像头里包含更多信息。备用传感器于是变成了雷达，而雷达对静止物体的探测能力很弱，这正是那些撞上停着的消防车的事故背后的缺口。

Fridman 说，特斯拉的数据流水线确实令人印象深刻：对边缘案例做主动学习，以及把驾驶拆成数十或数百个更小问题的多任务学习。他对于有多少驾驶能以这种方式学会的看法，已经不那么怀疑了，但仍然认为时间表比这位 CEO 所说的要远得多。Mitchell 的实际判断是，应对任何情况都需要完整的人类智能。人类的事故大多是注意力不集中、酒精、分心；机器始终在注意，却因为不够聪明而失败。自动驾驶汽车终将比人类更安全，而这是一个很低的标准。她预期的，是布设了传感器和地图的专用区域，在那里汽车不需要常识也能运转良好，前提是行人不要过多地捣乱。每次出门都能在后座上睡觉，她并不指望。司机、骑车人和步行者之间那种非语言的默契，是人类拥有、却说不出来的知识。

Mitchell 越来越认同人类水平的智能需要一个身体，尽管她也不确定。Fridman 提出一个他与 LeCun 联系在一起的区分：接地（grounding），即与现实互动；以及一个需要保存、可能死亡、可能害怕的身体。Mitchell 还没有用这些术语想过，但她猜两者都是。智能很难与自我保存的欲望分开，也很难与情感分开，与那些似乎妨碍逻辑思考的非理性东西分开。

人类智能中有很大一部分是社会性的。我们进化出来，就是为了与他人打交道，这种倾向根深蒂固，以至于很难把智能与之剥离开。大约 70 年来，AI 一直在做这种剥离。笛卡尔式的假设是，我们在试图创造一个会思考的东西，无须关心其余部分。Mitchell 认为，其余部分恰恰是根本性的。情感并非智能的障碍，它是我们感知世界、做决定、与他人互动并理解他人的一个组成部分。

要猜测 Fridman 接下来可能会做什么，她需要一套心智理论，而那在很大程度上就是一套关于情绪、动机和目标的理论。她通过在自己身上模拟它们来理解这些，也就是人们与镜像神经元（mirror neurons）联系在一起的那类系统。她无法证明这套机制是必需的，但这看上去非常可能。Fridman 是俄罗斯人，他开玩笑说，当时流传着一种反对超级智能的斯拉夫式悲观论证：一切事情其实都行不通。Mitchell 笑了，然后回答了这个问题的严肃版本。我们当作缺陷的那些限制（恐惧、痛苦、死亡），是人类智能运作方式的一部分。

Mitchell 为《纽约时报》写的专栏，编辑给它加了标题《We Shouldn't Be Scared by Superintelligent AI》，她本不会这样取。专栏回应的是 Stuart Russell 早前总结《Human Compatible》的一篇文章。Russell 认为，超级智能 AI 的价值观必须与人类对齐，并且要学会人类真正想要什么。他举例说，让它解决气候变化，它便会判定降低大气碳含量的最好办法是杀光所有人类。在 Mitchell 看来，这说不通：在气候科学上超级智能的系统，不可能笨到不知道人类不想死。这两种能力，你不可能只得到其中一种。

她同样不信 Nick Bostrom 的正交性论题（orthogonality thesis），即系统的目标与价值观不必对齐。回形针最大化器（paperclip maximizer），无论作为思想实验还是作为可能被造出的东西，在她看来都站不住脚。智能比这些演示所允许的要复杂。理性、价值观和情感不是可以分开的维度。Mitchell 想要批判的，正是那种在一个轴上超级智能、在其他轴上一片空白的机器图景。

Fridman 读到 Yoshua Bengio 的一段谨慎回应：认知偏差也许与学习相关，但价值对齐已经是个问题，其表现形式是超级强大的公司，其目标函数与人类的福祉并不对齐。Mitchell 只同意一半。公司也是人，价值观是经营它们的那些人的价值观。Fridman 指出，算法仍然可以操纵大量人群，比如一个以广告驱动的互动循环，把一家公司推向更多的分裂。她希望有人追问的，是谁拥有能动性。一个对深色皮肤识别更差的人脸识别网络，本身并不是一个种族主义的行动者；能动性存在于训练数据、摄像头和使用方式之中。Russell 的主张在性质上不同，而不只是程度上的不同：机器本身现在做决定，并且它本身就是拥有价值观的那个东西。

马斯克、Russell 和 Bostrom 关于生存风险的看法，即使日期未知，有没有道理？她说，有可能，但还有许多更近的生存威胁。她的时间尺度是一百多年，也许超过 500 年。在那段时间里，我们现在无法预测的 100 万种技术会改变社会，而我们现在讨论的 AI 风险，到那时就不再是今天的意思。核武器、气候、贫困、可能的大流行，这些都排在队列里。AI 的生存风险不应当是第一优先。她并不是在批评 Russell 或 Bostrom 担心这些；有些人就应当担心。她的靶子是他们对智能的图景。Fridman 补充说，人们相信不同的东西是好事，而即使他们为“超级智能”这个词争论不休，这项工作依然有用。她同意，并且很高兴《时报》会刊登这场争论。

什么样的测试才算是对智能的好测试？Mitchell 仍然认为，图灵测试的原始想法是好的；她想不出更好的办法。迄今为止真正进行过的版本都很贫乏。在书中，她描述了 Ray Kurzweil 与 Mitchell Kapor 之间的一个赌约：到 2029 年，机器将通过一项设定了时长、由专家评审的图灵测试。Kurzweil 说能，Kapor 说不能。他们在 2019 年谈起时，还剩大约 9 年。如果一台机器通过了那项测试，她愿意称它为有智能。人们接着会说，那只是一个语言模型而已。Fridman 问，长时间的对话对她来说是否足够。她说大概足够，因为进行这样的对话需要对世界有深入的常识性理解，而足够长的对话会揭示这种理解是否存在。

复杂性，和智能一样，是一个被用滥了的词。Mitchell 的那本书讲的是复杂系统：自然、技术和社会，其中会出现涌现现象。一个大脑有数十亿个神经元；与整体相比，单个神经元并不算很复杂。相互作用和动力学产生了我们称为智能或意识的东西。这个领域在这类系统之下寻找一般性原理。涌现通常建立在简单的底层相互作用之上，而且数量巨大。还原论（把系统分解为细胞、原子或粒子，理解各个部分，再加总起来）对大部分科学都有效。但它并不总能得到我们最想理解的东西。你不会通过盯着单个神经元来看见智能。

人类基因组计划是她的一个警示案例。测序的兴奋，是一种还原论的希望：列出各个部分，然后找出哪个基因导致哪种疾病。部分本身并不导致我们关心的结果，相互作用的网络才会。被问到她最着迷的美丽复杂系统时，她说是元胞自动机，她为之工作了好几年。网格上如此简单的规则竟能产生看似无限的复杂性，这仍让她感到惊讶。它既令人谦卑、令人敬畏，仍然神秘，也带来希望：也许你能从一开始的极少量材料中设计出复杂性。

在 Fridman 看来，圣塔菲研究所（Santa Fe Institute）是一个神秘的地方，聪明人在那里研究混沌的边缘。Mitchell 说差不多是这样。研究所成立于 1984 年，由一些科学家发起，其中许多来自四十分钟车程之外的洛斯阿拉莫斯，主要是对自己的学科没有在处理大的跨学科问题而感到沮丧的物理学家和化学家。名字都很重：George Cowan 曾参与曼哈顿计划；Nicholas Metropolis；Murray Gell-Mann；诺贝尔经济学奖得主 Kenneth Arrow。他们开始办研讨会，研究所也渐渐壮大。它自己也一直活在混沌的边缘，没有大笔捐赠，靠捐款、资助和商业合作维持运转。少数常驻教授以五年任期坐镇中心；周围是博士后，以及约 100 位外部教授，包括 Mitchell 和物理学家 Sean Carroll，他们会在这里停留一段时间。

想加入的人，有一个为期四周的复杂系统暑期学校（Complex Systems Summer School），还有计算社会科学与气候和可持续发展方面的专题学校，以及短期课程，以及一个在线平台，其中包括 Mitchell 自己写的复杂性入门。技术研讨会、学术讲座和公开的社区讲座都会上传到 YouTube。她仍然从 Hofstadter 那里带走的教训更具体：面对复杂问题，尽可能地把它理想化，直到你能看清它的本质。Copycat 就是这样诞生的：把类比制作理想化到极致，同时保留你真正想研究的东西。Hofstadter 的物理学博士训练，在这种方法中有所体现。早期 AI 在积木世界（blocks world）等小世界（microworlds）中工作，后来有人告诉它们这些不能扩展，于是转向更混乱的现实问题。现在，甚至又回到了积木世界。智能最根本的挑战，可能比人们意识到的更多地存在于这些理想化的问题之中。

回头看，她最自豪的工作是 Copycat。它与人们做过的几乎所有其他东西都不同，其中仍有等待探索的想法。她人生中最快乐的日子之一，除了孩子出生，就是 Copycat 诞生的那一天：它开始做出真正有趣的类比。Fridman 说她给了它生命。她回答说：是人工生命。想要接手的人，Hofstadter 的《Fluid Concepts and Creative Analogies》详细描述了其机制；她自己的《Analogy-Making as Perception》是那篇博士论文的书籍版；代码可以从她的个人主页上找到，还有后继项目 Metacat 以及 Python 3 的实现。建议很简单：获取代码，运行它，玩一玩。