Pamela McCorduck：人工智能源于锻造神明的古老愿望

Lex Fridman 开场时提到一句他在 Pamela McCorduck 1979 年的书《会思考的机器》里读到的话：人工智能始于锻造神明的古老愿望。他说，这句话把日常的科学与工程，和流行故事、科幻作品，以及几个世纪以来关于自动人偶的神话连了起来。通过文学工作，McCorduck 接触过这个领域的奠基人，包括 1956 年达特茅斯夏季研讨会的几位创始人，人工智能正是在那次研讨会上启动的。他联系她，是希望了解那些早期日子的感受，以及他们当年的梦想至今还有什么回响。

当年，她已经出版了两部小说。那个夏天，她在斯坦福租来的一座房子的门廊下坐着，心想应该写一部小说，讲讲 AI 圈子里这些古怪的人。接着，想法转了个弯：不要写小说，写历史。去采访他们，把访谈拼在一起，书就有了。事情远比这难。没人在做这件事，她把它看作机会。John McCarthy 觉得这是个荒唐的主意。那时这个领域还没有成形，他更希望她去写一个数学专题。

她的回答后来在口口相传中成了一段小佳话：她并非在找项目，这正是她想做的事，希望他能配合。McCarthy 嘟囔了几句，然后说好吧，这是她的时间。创始人们当时都还健在，正处于研究生涯的高峰，却愿意坐下来，和一个说自己可能想写本书的女人聊天。至今想起来，她仍然感到谦卑。

在认识丈夫 Joe Traub 之前，她就已经深入这个领域。她曾经是 Ed Feigenbaum 在斯坦福的助理；在那之前，她参与编写了《计算机与思维》。这是由 Feigenbaum 和 Julian Feldman 编辑的第一本 AI 读物教材。他们编它，是出于实际需要：当时他们想在伯克利教 AI，可那时没有互联网可以下载论文，学生只能从一本期刊翻到另一本。她是英语专业出身，懂什么呢？但她还是很着迷。她认为，这种文学背景本身就是 AI 所出自的那条延续线的一部分，与 AI 同出一种冲动，并非旁支。

资金最终以私人赞助的形式到位，起初她并不知道出资人是谁：MIT 的 Ed Fredkin。他是个富人，喜欢他所说的“异想天开”的主意，而他认为 AI 史就是这样一个主意。他愿意出资，她至今心存感激。Fridman 说，这类科学史著作此后几乎再没有人写过。McCorduck 没有争辩。她从一开始就看出，这个故事比十年间发表的论文都要古老，也更奇特。

即便书已经写完，她也不知道这个领域能否成功。她承认，最后一章写得含糊其辞。她真正感兴趣的，是人类颅骨之外的智能这一想法，对一个坐在工程师中间的英语专业学生来说，这是个了不起的念头。Feigenbaum 是她的挚友，她至今每个月左右还会见他一次。他告诉她，《会思考的机器》刚出版时，他觉得前言全是废话。十年后他说，他明白她的意思了：这是人类几千年来的一种冲动。她补充说，当你沉在算法的细节里，只想让某个东西跑起来时，很难退后一步去看这幅图景。

被问到 1956 年达特茅斯会议上谁最突出，她列出四位奠基人：Allen Newell、Herbert Simon、Marvin Minsky 和 John McCarthy。他们不只是在场。Newell 和 Simon 带来了一个能运行的程序，叫 Logic Theorist。她说，其他人对于该怎么做都有很好的想法，但还没打算真的动手。Claude Shannon 也在场；Feigenbaum 当时还是本科生，没有到场。这四个人非同寻常，但他们走的并不是同一条路。

Newell 和 Simon 是认知心理学家。他们想模拟人类智能的某些方面，发现可以在计算机上做到。Minsky 只觉得这件事很酷。McCarthy 在 1949 年还是加州理工的学生时，听过一场讲座，如今她已经想不起讲的是什么，但他从中得到了这个念头，觉得弄清楚该怎么做会很有意思。他采取的是高度数学化的路线；Minsky 则介于两者之间。多年来，智能的定义扩展到了当年那些会议室根本无法容纳的范围。生物学家现在可以自如地谈论一个细胞的智能、各种大脑的智能、头足类动物的智能。章鱼按任何标准都是聪明的。这在 1960 年代甚至 1970 年代，没人会这样想。

她听灵长类动物学家 Frans de Waal 说过，AI 教会了这个领域该提什么问题。Fridman 同意：你在试图造它的时候就会开始提问，这种尝试像一面镜子，照出我们自己。McCarthy 展望未来，认为这项技术对人类是巨大的福音，光这一点就足以让人去做。他有不少例子，说明数学如何证明它的益处；对于每一个技术上的反对意见，他都有一个技术上的回应。他最喜欢的一个说法，曾多次向她提起，他称之为“文学问题”。文学有其惯例，其中之一是英雄与反派：英雄通常是人类，反派则是机器。McCarthy 说，事情不会是那样的，但我们习惯了那样讲故事。她认为他说得对。

如果 AI 只是战后数学与工程的故事，那么一段漫长的前史就被抹掉了。McCorduck 把这段前史分成两种态度。希腊式的看法是：机器人很好，它们能帮忙，它们在赫菲斯托斯的熔炉里干活，人们欢迎它们。希伯来式的看法则立足于第二条诫命：“不可为自己雕刻偶像。”不要开始模仿人类，那是被禁止的。她说，人们对人工智能的很多反应，都来自一种感觉：这件事在某种意义上是邪恶的，是亵渎的。会有一些负面后果，但她坚持认为，其中不包括亵渎。

这段前史比 Golem 和二十世纪初的机器人还要久远。一位古典学者最近告诉她，《奥德赛》里到处都是机器人。奥德修斯的船是怎么从一个地方到另一个地方的？他没有足够的船员来划桨，那是魔法，也是机器人。《伊利亚特》里同样有。十九世纪末和二十世纪初，科学家们确实尝试过让它成真，但没有成功，因为当时的技术不够。Charles Babbage 在 1850 年代和 1860 年代就已经看出，他正在制造的东西能表现出智能行为。当英国政府最终说够了、不再拨款时，他和 Ada Lovelace 讨论过用这台机器去赌马，还有其他几个筹钱的办法。

她的咖啡桌上放着一本带批注的《弗兰肯斯坦》。她称这是一部了不起的小说，观察极为敏锐。怪物始终没有名字；弗兰肯斯坦是创造他的人。怪物想要被爱，想要被接纳。只有当弗兰肯斯坦转身逃开，怪物失去了爱，他才变成了后来的那个怪物。她说，谁是反派其实并不清楚。把他赶走的人，才把人性中最坏的一面激发了出来。有一次，他和一个盲人交上了朋友，为他服务，两人变得亲近；可等那家有视力的人回来，他们看到的只是一个怪物，故事就此崩塌。她原先不知道的是，Mary Shelley 和 Percy Shelley 都是美国废奴主义文学的热心读者，并且全盘接受了其中的主张：你们之所以把这些人变成怪物，是因为你们不肯给予他们应得的尊重和爱。

Fridman 问，等机器再聪明一点，哪怕只是一台扫地机器人，人们虐待他者的黑暗习惯会不会冒出来。她并不担心这一点。她能想象这种事发生。她认为，AI 能为人类提供的东西会非常有吸引力，人们会被打动。她说，更一般地讲，Fridman 一直在绕着谈的那种原始恐惧，是一台会思考的机器会比我们想得更好，从而取代我们：一种类似死亡的东西。在这之上，还有一些现实的担忧：偏见，嵌入算法的歧视，还有推荐系统在引导大众的社交网络。但在这一切之下的那种恐惧，感觉比任何一个系统都要古老。

Traub 不做 AI，他研究的是算法复杂性。她说，有一段时间，AI 在这门新学科里感觉像个局外人。1974 年，计算机科学成立还不到十年，美国国家科学基金会（或者是国家科学院，她记不清是哪一个）希望有人向同行解释：这门学科究竟研究什么，有什么意义。草拟者原本打算把 AI 从名单上删去。最后还是放了进去，因为 Don Knuth 说它很重要，不能不写。一个搞 AI 的人如果提出这样的论点，是不会有人相信的。Knuth 说的话却有人信。Traub 研究的是某些人眼中的“正经东西”，他一次又一次用平实的语言说，他认识的最聪明的人都在 AI 领域。

Fridman 指出，1980 年代的专家系统在一阵繁荣之后撞上了墙。McCorduck 对“AI 寒冬”这个说法的反应很直接：整件事就是胡扯。她看到，1980 年代被认为是冻结期的那些基础研究，其实非常重要，铺下了此前没人想过的基础。那是基础研究，无法变现，所以才有了寒冬。她说，科学研究本来就是一阵一阵的，不是一个顺滑的、这接着那的序列。Fridman 追问：寒冬往往是炒作惹的祸，研究者本身并无过错。她部分收回了这一点：有时候确实是研究者的错。他们中有些人相信，自己离成功只差几年。

这场对谈发生在 2019 年。她刚听说，马斯克相信一年之内就会大规模部署自动驾驶汽车。一年？她相信自动驾驶汽车终将到来，但不认为会是一年。Fridman 补充了商业上的机制：公司承诺 2021 年或 2022 年，日子到了，车没到，几十亿美元已经花出去，却没有任何回报，除了少数基础研究者，整个领域在思想上被抛弃。她更担心的是科学因资金缺失或时机不对而被扼杀，这比一个比喻更令人担忧。她记得，英国的 Lighthill 报告说，在这方面投钱没有用，它不会有出路。背后是学派之争：爱丁堡对剑桥，剑桥对曼彻斯特。这带来了很重的后果。她说，DeepMind 让它们重新火了起来，但那是一个人和他身边的几位有远见的人。

她对科学的欣赏大概比对商业更多。商业没有问题，每个人都得生活。科学的视野要长得多，几乎不管什么能卖钱、什么不能卖钱，它都在继续。按照这种说法，寒冬是发生在商业一侧的事。Fridman 说这是一个非常乐观的说法。她同意，一些关键科学家仍然出于对问题本身的热爱在工作，四处筹措足够的资金维持下去。她也认同他的担心：现在大量资金涌入深度学习，再来一轮过度承诺，可能会拖慢学生的培养。这确实会有影响。她不肯放弃的区分是：能够变现的工作，和铺路的工作，二者各有其价值。

在写作《会思考的机器》期间，Herbert Simon 成了她的密友。他每天下班后都会走过他们在匹兹堡 Northumberland Street 的房子。她正在给打字机盖上罩子，探身出门问他要不要来杯雪莉酒。他几乎总是要。他会停下来，两人聊上一个小时、两个小时；她日记里记下的下午，有的长达三个小时。他们很少谈 AI，聊的是生活。两人都热爱文学。Simon 用法文原文把 Proust 读了两遍，全部读完；她读的是英文译本。他们谈语言，谈音乐，谈艺术。Simon 画得不错，却不得不放弃，因为他怕这会影响研究。那只是闲聊，但非常温暖。

有一个夏天，她抱怨过。她在匹兹堡大学英语系教书。她的学生都在进行真正有意思的对话，讨论人生的意义。她却要参加各种大学会议，讨论复印预算，还有浪漫主义诗歌课该开一学期还是两学期。Simon 笑了，他明白她的意思。他说，这件事是可以做点什么的。他和妻子 Dorothea（Dot）过去每周日晚上在芝加哥大学办一个沙龙，本质上是一个敞开的家，大家都知道那里适合讨论有深度的话题，不适合闲聊。他的建议是：提前把话题选好。

那个夏天，他们靠邮件联系，用的是美国邮政，没有私人邮箱，由她负责组织。八个人：Allen Newell 和他的妻子；Simon 和 Dorothea；刚搬到当地的小说家 Mark Harris，当时他最出名的作品是《慢板敲鼓》，还有他的妻子 Josephine；以及 McCorduck 和 Traub。他们每月聚一次，啃硬骨头，非常有趣。对于一个困在委员会事务里的作家来说，沙龙是一种修复。这个领域的创始人不只是采访对象，每个月至少一次，他们构成了一个允许谈话认真进行的空间。

她自己的看法是怎样变化的？起初她对整件事能否成功有些怀疑。但这并不要紧。这个项目是大胆的。从某些方面来说，结果并不像她预期的那样。她说，深度学习带来了大量好用的应用，但那些都是算法层面的。在符号处理方面，至今还很少。那是一个正在等待勤奋研究生的领域。Fridman 认为，专家系统可能会随着某种新的突破重新出现，她没有反驳。真正让她意外的，是这个领域的重心转移到了哪里。

她离开 AI 一段时间，去圣达菲研究所参与复杂性研究。一个年轻学生向她讲述自己在做什么，她想：算法，是的，它们在表面上，但它们算不上主角。后来它们成了主角，这让她感到意外。她补充说，大家都知道其中的坏处：如果你用算法去根据无数人类决策做判断，那么里面就嵌入了人类犯过的所有错误，包括偏见、短视等。在她 2019 年看来，符号 AI 已经基本干涸了。房间里的兴奋已经转移到了别处。

被问到时间尺度，她不做预测。Geoffrey Hinton 在 1986 年提出了深度学习算法，技术又花了好几年才足够好，可以投入应用。她甚至不想去猜下一次飞跃。年轻人以为自己刚刚发现了什么特别的东西，明天就要改变世界。她从小道消息里听到的那些人的精神状态和谈话内容，与她记忆中早期的样子感觉一样：同样的激动，同样的感觉，觉得这真的会带来改变。它会的，它已经在改变了。但什么时候，时间表没有人能掌握。

她在 AI 上做的最后几个项目之一，是画家 Harold Cohen 的工作。Cohen 深度投入了这个领域。他一生的程序 AARON，是为了映射他自己的认知过程而构建的。她为此写了一本书，过程中两人有很多摩擦。书出版了，用她的话说，“掉进了沟里”。她以为那就完了：她已经做完了，该去做点别的了。恰好那一年 Traub 有学术休假。他们在圣达菲研究所待了两个月，在加州理工待了两个月，春季学期则在慕尼黑。圣达菲的那两个月让她恢复了元气。

研究所当时很小，位于 Old Santa Fe Trail 边上的一处办公楼里。每个人的门都开着。你可以为一个问题绞尽脑汁，解不开，然后走进 Stuart Kauffman 或其他任何人的办公室，说你没明白，能不能解释一下。她和 Murray Gell-Mann 谈复杂适应系统，并告诉他 Cohen 做了什么。在她听来，这很像一个复杂适应系统。Gell-Mann 说，是的，它就是。她意识到，AARON 在整个科学和经济学领域都有“近亲”。她松了一口气：她的直觉没有错，她做的事情是对的，只是缺少词汇。这正是圣达菲给她的东西之一。要是她能重写那本 Cohen 的书（它刚出版，她没办法改），她就会有词汇来解释 AARON 在做什么。

当时的研究所负责人 George Cowan 认为，如果她能写一本关于这个地方的书，可能会是件好事。她当时惦记着另一个项目，说很想写，但眼下做不成。他说得对，她错了。她希望自己当时做了，那是一条没有走的路。Fridman 问，一个从文学界来的作家，是怎么有胆量走进那些科学大佬的房间的。她从没察觉有人对她感到畏惧。她说，只要觉得一本书会有结果，人们对作家是很有耐心的，而且他们看得出访客的眼睛里有没有光，看得出对方是不是真懂。她描述的是 1990、1991、1992 年的事情。后来 Traub 成了研究所的外聘教员，他们在圣达菲买了一座房子，每年夏天都住在那里。她喜欢那些想法的大胆，这正是她被吸引的地方。

她不太赞同 Ray Kurzweil 所描述的奇点。如果她理解他的观点，那就是会有一个时刻，机器比人类更聪明，然后就完了——至于结局是什么，她有保留。机器在某些方面其实早已比人类聪明，从加法机发明的那天起就是如此。它不会像俄狄浦斯式的十字路口那样到来，双方相遇，一方就此终结。计算器在算术上早已胜过我们，那场比赛早就结束了，而我们仍然在这里。类人的智能，比如一个朋友，一种深刻的联结，某种超过图灵测试的东西，则是另一个梦，而她做过这个梦。

她和 Feigenbaum 合写的一本书里，有个小故事叫“老年护理机器人”。她编出这个故事，是为了跟大学生讲 AI 可能是什么样子，她讲得越细，学生们笑得越厉害。这个机器人不只是帮你清洁、喂饭、把你推到阳光下。它最大的优点是会倾听：“再给我讲讲 1973 年那场大政变是怎么回事。”“再跟我说说你的孙辈到底是糟糕还是出色。”它不会留下来是为了继承你的钱，也不会因为找不到别的工作才留下来，这就是它的工作。这个故事收进书里后，《纽约书评》狠狠批评了她：这恰恰是我们对 AI 圈子里这些人的看法，他们不像人。她认为，对这个世界来说，那会是件好事。

在这次对谈中，她快 80 岁了。等她真需要这种帮助的时候，她还是希望这个机器人能把自己滚到墙角，闭上嘴。Fridman 追问：她真的这样想吗？她看过朋友把帮手请进家里，有些人运气好，有些人遇到的帮手整天开着电视，或者整天打电话。人类助手即使在帮忙，仍然会顾及自己。AI 助手则可以为你优化。他的看法正好相反：人们不一定想要一个完美的仆人。推拉之间有一点张力，一点神秘，这很难拿捏。她承认可以有一点顶嘴，一点点。Fridman 补充说，社交媒体让人们，尤其是年轻人，变得更加孤独，而一个会倾听的机器或许能缓解这种渴望。她没有给人类水平的对话定一个日期。这个领域的意外太多了。Herb Simon 在预测某件事何时发生时一向很糟，而他本是个很理性的人。他的话至今仍被当作传说来引用。

她对存在性威胁有顾虑吗？就是马斯克和 Sam Harris 那类担忧。这在她的书里占了半章。她称之为“男性凝视”。这个词来自电影批评：大多数电影从男性视角出发，女性被当作客体，没有主体地位，也没有能动性。当马斯克和他的朋友们、霍金等人站出来说 AI 会吃掉我们的午饭、晚饭和宵夜时，她心想：什么？她对 Feigenbaum 说，这些人一直是街区里最聪明的人，现在来了一个可能比他们更聪明的东西，所以他们想在它接管之前先把它扼杀掉。他笑着说，他没有这么想过。她想过。

对她来说，这就是男性凝视。假设这些东西确实有能动性，那就等着看会发生什么。我们能否给它们注入伦理和同理心，还是说它们只会是——她没有把这句话说完。我们已经有过几个世纪这样的男人了。Fridman 听出的是一种自我受到威胁的情绪，无法耐心地思考这项技术可能变成什么。她并不否认伤害的可能性。她反对的是：第一步应该是扼杀那个可能比你更聪明的东西。她想做的是耐心、伦理与同理心的实验；先发制人地压制，不在她的选项之中。

她与 Nancy Ramsey 合写过一本书，讨论女性在科学和技术领域的四种可能未来。方法是取当下的一些面向，把每一个都推向极端：反弹、一步进两步退、平等的黄金时代。黄金时代是最难写的一章。她借用了圣达菲模型中的沙堆效应：沙子非常缓慢地落在沙堆上，沙堆越堆越高，直到某一刻突然崩塌。她说，在某种程度上，Me Too 就是那样。它是最后一粒沙，沙堆效应的一个完美例子。它并没有改变整个社会，却真正唤醒了很多人，这让她感到欣慰。

变化够大了吗？还不够。女性在计算领域所受的消磨，简直令人难以置信。她说，看看反弹，你会发现堕胎等问题上的争斗；当下已经包含了那本书所推演出的黑暗情景。问她 Me Too 之后是否乐观，她不会假装解决了一种伤害就解决了全部问题。不过，她依然是一个天生的乐观派，改不了。那本关于未来的书，与其说是预言，不如说是一种认真审视眼前已经摆在桌上的东西的方式。

她担心什么？那些我们无法预见的事。会有某个从意想不到的方向冒出来的东西，让我们说，我们没有做好准备。她总体上是乐观的。她第一次对 AI 感兴趣时，和这个领域的大多数人一样，觉得更多的智能就意味着更多的美德。还能有什么坏处呢？某种程度上她至今仍然这样相信。但她对智能的理解已经拓宽了。智能有很多种，我们需要把这许多种都注入机器，而不只是 1960 年代那种定义：一个在黑板前耍聪明的人。

她正在写一本回忆录。纵观全书，最大的感受，其实并不意外，是她有多幸运：能够接触一个将要改变世界的科学领域的开端。她是怎么走运的？她对事物的看法也拓宽了。然后她回到女性主义这条线索上，她说那一直是潜意识里的。她希望 AI 成功，是因为她太厌倦了听到智能只属于男性头颅的那种说法。如果外面有个东西不是男性，却能思考、能行动，那就会戳穿整个说法。

她是在和 Harold Cohen 的一个夜晚才知道这一点的，那晚他们喝了一杯酒，也许两杯。他问她为什么被 AI 吸引。她给出了标准的答案：她认识的最聪明的人，一个很好的项目，诸如此类。然后另一句话冒了出来：她想要的，是男性聪明才智之外的东西。Fridman 称之为绝妙。她说，AI 确实让我们所有人都谦卑下来，也让最需要谦卑的人谦卑下来。他向她道谢。这段计划之外的坦白，回头看来，把这位在实验室里的小说家、那本关于女性未来的书，以及那个以倾听为职责的机器人，串成了一条线。