Kate Darling：为什么我们给 Roomba 起名字，又为什么会为拆弹机器人哀悼

Kate Darling 是麻省理工学院媒体实验室的研究员，家里养着三只 Pleo 恐龙机器人，分别叫 Yoki、Peter 和 Mr. Spagetti。她研究人与逼真机器之间的情感联结。Fridman 先从她以前在哈佛主持过的一个机器人伦理读书小组说起。她说，如果今天再教这门课，教学大纲会大不一样。“机器人伦理”听上去仍像科幻，但真正迫切的问题都很具体：伤害的责任、自动化武器、隐私和数据安全，以及自动化与劳动力市场。她个人更关注社会层面，也就是人与机器人之间一对一的关系。

在社会层面，Fridman 提到了 Andrew Yang。他当时正在竞选总统，主打“自动化会抢走工作”的警告，并提议每月发放一千美元的全民基本收入（UBI）。Darling 在瑞士住了二十年，那里早就在讨论 UBI，而且原因并不是机器人。她感兴趣的是，硅谷抓住了一个源自欧洲左翼社会主义阵营的概念，又把它重新包装成应对机器的答案。

谈到劳动本身，她说得很直接。这类讨论往往高估了机器人技术目前的水平，还犯了一个谬误，Darling 在整场访谈里都在拆解这个谬误：把机器人当成一对一的人力替代品来比较。Bill Gates 曾经提议，对抢走人类工作的机器人征税。Darling 认为这句话可能被断章取义了，毕竟他是个聪明人。但这句话听起来仍然是在讲替代，没有把机器人看作补充性的工具。这项技术会搅动整个格局，但她并不认为未来二十年里，机器人会抢走所有工作。事情不会那样发展。

Fridman 问了一个更黑暗的问题：人们会不会虐待机器人，尤其是在把它们当作仆人使唤之后？Darling 确实有这方面的担心。人们明明知道机器人是机器，却已经会把它们当成活物来对待。至于这算不算虐待，又是另一回事。你伤害的并不是一个有内心世界的东西，据我们所知，机器人没有感受。她补充说，这取决于你怎么定义感受和意识，不过人们高估了这项技术。目前的机器人甚至没有昆虫聪明。就“伤害机器人本身”这层意思而言，她并不担心。

真正的问题是，对这些物体施暴，对我们自己意味着什么。言语或身体上的粗暴，会不会让人变得麻木？暴力电子游戏是常见的类比，但几十年的研究下来，结论并不明确。社会大体上已经形成一种默契：成年人能把屏幕里的事和现实区分开，在游戏里射杀角色或撞死路人，并不代表你会在街上这么做；但对孩子，即便证据并不充分，大家依然更加谨慎。

机器人未必会继承这份默契。她说，大量研究表明，人对物理空间里的东西和屏幕里的东西，反应是不一样的：前者更直接，更像一个有实体的行动者。这有可能仍然只是 3D 版的电子游戏暴力，也可能不是。目前还没有证据，所以这个问题需要重新提出。她后来也承认，或许有些人需要一个发泄的出口，对着一台机器吼，代替冲着一个人吼。她的一位朋友把另一种假设说得更尖锐：这可能只是在锻炼他们的残忍“肌肉”。

Darling 正在写一本关于动物驯化史的书，内容涉及劳役、武器和陪伴。她认为，这段历史比任何人与人之间的类比，都更能预测我们会如何对待机器人。纵观历史，我们大多把动物当作工具和商品，只有其中一部分得到了不同的对待。人们对机器人，已经在用类似的方式相处。Fridman 想知道，一百年后，我们回头看自己对动物做过的事，会不会像今天回望大屠杀一样。她希望会，但并不确定我们会。她倒是想知道，她的孙辈会觉得什么事情令人憎恶，而她这一代人却习以为常。

Fridman 习惯把机器人拟人化来看待，他认为一旦能力相当，两者在哲学上就没有根本区别，因此他已经能想象机器人的民权运动了。Darling 说她一开始也是这么想的：技术和人类意识之间没有本质差别，所以等水平相当了，就应该享有平等的权利。后来她意识到，这是一个属于遥远未来的问题。我们或许需要更早地提出“机器人权利”的问题，趁机器还真的很笨的时候去讨论，因为人们会怎样看待它们，本身就很重要。

动物权利的启示是，我们一向保护的，是自己最能产生共鸣的对象。没人在乎鲸鱼，直到有人录下了它们唱歌。那时候，它们成了美丽的生灵，于是 1970 年代的“拯救鲸鱼”运动兴起了。人们喜欢相信，我们关心的是一致的生物学标准，但从历史上看，联盟并不是这样形成的。你就算朝 Roomba 开枪，也不算谋杀。她还指出，你也能朝自己的狗开枪，只是人们不会高兴。在大多数地方，虐待狗是被禁止的，而在另一些地方，狗仍然只是财产。这些界线是任意的。在不少哲学著作里，把人类称为独一无二，其实不过是物种主义。

Fridman 问，大多数人是不是善良的。他研究过大屠杀，自己也是犹太人，他相信我们大多数人身上都有恶，而让他不安的是，对机器人的虐待恰恰暴露了这种恶。Darling 则看到了另一面：机会。她的一些研究表明，即便面对毫无感觉的简单机器人，人们的行为也能反映出他们总体的共情能力。《西部世界》离这个想法也不远：坏角色会射杀、侵犯那些“接待员”，好角色则不会，哪怕不假定它们有意识。机器人于是成了人练习人性中更好一面的场所。

有人会问，为什么要拿机器人练习共情，却不拿真人或真正活着的动物来练。她不同意。共情不是零和游戏，它是一块可以训练的肌肉，而且我们应该去训练。Fridman 提到，有些父母会让孩子对 Alexa 说“请”。他自己对语音系统也很礼貌，包括对汽车里的语音系统，但他不确定这个做法是否正确。Darling 故意唱反调：如果你有施虐倾向，一台可以冲着吼的机器，总比一个人强。随后她自己推翻了这个说法。我们并不知道，这到底是一个发泄的出口，还是在练习残忍。

性爱机器人这个话题让 Darling 感到厌倦。你只要说自己在做人机交互研究，对方第一句话往往就是问这个，它是一个刺激眼球的新闻噱头，把整个领域的其他话题都吞没了。她仍然认为，这个话题能让一些值得思考的问题浮出水面。Fridman 打赌，购买女性性爱机器人的男性会发现，真正令人满足的是互动本身，性行为反倒在其次，就像电影里那种花钱找人陪、聊上一整夜的桥段。人们拿性开玩笑。但其中很多人是孤独的，想要一份联结，如果这份联结只能从性产业的侧门进来，那就太可惜了。

Darling 也希望消除对性产业的污名。有些性工作者专门服务残障人士，这些人探索自己性方面的机会本来就更少，这种需求是真实存在的。那种“替代恐慌”——如果性体验足够好，人们就不会想要伴侣了——忽略了另一种情况：机器人可以填补一个原本空无一物的位置。Fridman 进一步说，要求家人和朋友去理解你身上全部的复杂性，本来就已经是很大的负担，他们未必有那份耐心。Darling 则坚持多元的视角：人类能够拥有多种关系，比如家人、朋友、宠物、机器人，每一种都有其独特的价值。没有谁非得替代所有其他人。

Fridman 的工作大多与自动驾驶有关，所以电车难题准时登场了。Darling 认为，人们已经忘了它的出处。这个思想实验原本是要说明，没有标准答案；如果你在意对所有人都适用的系统性规则，那么一闪而过的道德直觉就不该是你的行动依据。MIT 的 Moral Machine 是她的朋友做的一个网站，让人在两名行人和一个孩子之间做选择，在流浪汉和乱穿马路的人之间做选择，它产生了有趣而有价值的数据。但它不该变成汽车的行为准则。让众人凭第一直觉投票，恰恰是这个思想实验想要推翻的做法。

现实中的版本很难看。如果系统认为你的生命比陌生人的更重要，它就更可能转向。今天的自动紧急制动只会刹车，从不转向，因为变道即使能救你，也可能伤及别人。谁会去买一辆被设定为牺牲车主、去保全别人的汽车？Darling 认为，现实中厂商多半会回避这个决定和相应的责任，而且会保护司机。这个过程的收获在于：把伦理强行写进代码，会暴露出我们的规则远没有想象中那么容易编程。立法者本来就在做这件事：摸清社会的共识，把它写下来，并随着文化的变化不断调整。Moral Machine 上的点击并不是这回事。问“你在这个场景里会不会撞向流浪汉”，与问“你是否希望汽车总是撞向流浪汉”，并不是一回事。把同样这批人放进虚拟现实里，答案本来也会变。

按照 Darling 的定义，拟人化就是把人的特质、行为和品性投射到非人的事物上。我们会对动物这样做，对泰迪熊这样做，对汽车车头灯里看似一张脸的图案这样做，对机器人更是格外如此。设计可以强化这种倾向，而且并不需要太多。超过 85% 的 Roomba 都有名字，这是普通吸尘器远远比不上的比例。圆盘卡住的时候，人们会觉得过意不去；送去维修，还想拿回原来那一台。这些都不是设计者刻意植入的。

她了解到，亚马逊有一整个团队专门负责 Alexa 的性格，而且性格会因国家而不同，德国版 Alexa 和美国版 Alexa 并不一样。不过，语音助手是很难驾驭这种错觉的地方，交互方式还很原始。要让人暂时放下怀疑，有时候少即是多：让人去投射，而且别让人失望。Alexa 和 Siri 话太多，又不够好。用于失智症患者的那只宝宝海豹就简单得多。它不试图说话，只会动、发出声音，并对触碰做出反应。这是让人觉得它有生命的一种非常有效的方式。

问题出在工具本该只是工具的时候。2000 年代初，iRobot 的 PackBot 随拆弹小组前往伊拉克和阿富汗。士兵给机器人起名字，为它们举行鸣枪致敬的葬礼，机器人坏掉时，士兵也会感到很痛苦。这还算无伤大雅，直到有士兵冒着生命危险去救一台本来就是为了让人不必涉险才造出来的机器。公司也可能利用这种依恋，去推销并不符合客户利益的产品、服务，或者社交机器人的云端订阅。依恋本身不是问题，问题在于拿它来对付用户牟利。

被问到最喜欢的真实机器人时，Darling 说了两个。第一个是 Pleo，2007 年推出的婴儿恐龙玩具，大约有一只小猫那么大，现在已经停产。马达让它的动作非常逼真，它还有触摸传感器和红外摄像头。最让她印象深刻的，是它模仿疼痛的程度。把它拎起来抓着尾巴时，倾斜传感器会告诉它朝向哪边，它就会扭动、叫出声。用力过猛，它还会哭。她惊讶于自己有多快就对它产生了感情，又有多想相信它有内心世界。

第二个是波士顿动力。她以前一直是那种看视频的人，还以为那些都是产品宣传片。亲自去参观之后，她印象非常深。Fridman 说，看到 Spot Mini 是一个转折点：这或许只是一场心理学实验，但他对它拟人化得厉害，它一下子就像他最好的朋友。Spot Mini 的机械臂看起来像一颗头。公司说这并不是他们的本意，但它看起来还是那个样子。这个平台本不该有智能，它是一个供客户在上面搭建更高智能的运动底座，其实是个非常笨的机器人。即便是笨机器人，也会引起人的本能反应。

她把 Sophia 归为一件艺术实验，说它更像一个木偶，远没有波士顿动力那么令人印象深刻。她认为，科幻和流行文化让人高估了我们走到了哪一步。Fridman 很惊讶，人们对此竟然这么不在意，把它当成了理所当然。如果理解其中的难度，本该更加惊叹。她最喜欢的虚构机器人是《机器人总动员》里的 WALL-E。从 1940 年代起，动画师就知道怎样做出不像真的、却比真的更讨人喜欢的角色。《小鹿斑比》原本想让小鹿显得逼真，直到有人发现，大眼睛、小鼻子、圆脸颊，也就是婴儿脸的特征，让观众对小鹿的喜爱，胜过了对写实程度的追求。

家里的 Alexa 能不能做到“比真的还真”？Darling 猜测，这些公司暗地里应该正在研究。Fridman 不同意：亚马逊要的是人们对服务上瘾，那个圆柱形音箱只是载体，因为设备层面的联结带来的挫败感，会多过爱。做得不好，就会变成微软的 Clippy。Fridman 有一大群 Clippy 的拥趸，他称那个笨拙的回形针是有史以来最好的助手，因为它是认真尝试赋予性格的，哪怕时机太早。Darling 同意对 Clippy 稍微宽容一点。

Anki 和 Jibo 这两家备受瞩目的社交机器人公司，最近都已经关门了。Darling 不认为这种困难会一直存在。眼下，要勉强达到科幻小说抬高的那些最低期待，需要付出巨大的努力，人们想要的是《杰森一家》里的 Rosie。这些产品的设计很漂亮，人们还希望它功能更多。至今还没有出现一个足以让大众普遍采用的杀手级应用。真正买到 Jibo 的主人会非常依恋它，这很像当年 Palm Pilot 的情形：大多数人在拥有它之前，看不出自己为什么需要它，或者要等到别人把它做得更好一点。期待会随着当下流行的虚构作品而不断变化。Fridman 认为，人们对联结的需求其实已经很高，只是我们自己没有察觉。我们已经习惯了从来不真正亲近任何人。我们都很孤独，包括那些拥有深厚关系的人。Darling 表示同意。

人能爱上机器人吗？她说，完全可以。那长期、忠诚的一夫一妻关系呢？这样的关系有很多种，“一夫一妻”这个说法里夹带着 Facebook 上的感情状态选项，未必适用。她更愿意把机器人和宠物相比：它们以另一种补充性的方式缓解孤独。有些人会想和机器结婚，但她不认为这是主要的用途。有一天，机器人也许能缩小它和丈夫之间的差距，从宠物变得更像伴侣。可我们为什么要这么做？复制我们已经拥有的东西很无聊，我们完全可以创造点不一样的。连《她》都保留了这种差别，那个 AI 去了人类无法跟随的地方。就算乐观估计，五到十年内，机器人关系也会更接近宠物，离人还有距离。

Darling 认为，拟人化并不需要人类水平的对话智能，智能有时反而会碍事。通过图灵测试，可能比彻底解决纯粹的自然语言处理还容易，因为可以耍点花招。这一切都是预期管理。如果你告诉人们，他们正在和一个来自乌克兰的 13 岁男孩聊天，他们就不会期待完美的英语、完美的概念，甚至不会期待对方和自己在同一个频道上聊天。这就是 ELIZA 的套路，只是换了一身新衣服。

身体有帮助，因为我们是有肉身的生物，会更愿意把有形的东西当作社交对象。身体也可能毁掉这一点。她家里有一只孩之宝的机器猫，看着让人不舒服：她总是期待它像真猫那样动，可它做不到，因为它只是一件一百美元左右的小玩意儿。期待落空，就会打破这种错觉。诀窍和那个乌克兰少年一样：挑一种人们并不熟悉的动物。一只幼年恐龙（没人真的抱过）能让你蒙混过关的空间大得多。她在一场 TED 演讲里说过，没人真正知道恐龙长什么样。

假装拥有对死亡的恐惧、自我和身份，也是一种设计手段，本身无所谓好坏。Pleo 的痛苦表现，是一种很有效的手段，能带来某种特定的互动。一位研究伙伴 Nandy 为自己做了一台有使用寿命的机器人，到了设定的时间就会停止工作，他想看看自己对它会不会有所不同。拓麻歌子（Tamagotchi）非常原始，人们依然会对“死亡”这个概念有所反应。一些小技巧就能让人做很多事。这是好是坏，取决于目标。以用户自身利益为出发点、建立更深的联结，听起来很好。但同样的技巧，也可能被用于广告、数据收集，或者被政府拿去获取信息。

怎样才能防止公司越过情感和行为操纵的底线？Darling 说，这很难，因为这些产品现在需要数据才能运转，就连消费者也几乎没有动力去限制这一点。这些伤害看不见摸不着，它们在社会层面慢慢渗透下来，然后有一天你忽然发现自己活在《1984》里。她觉得那本书很有先见之明。她家里有一台 Echo，什么都会跟 Alexa 说。Alexa 知道家里用的是哪个牌子的纸尿裤，所以再买很方便。她没有任何个人理由去请立法者叫停这件事。可是，当同样的数据被用来对付低收入人群，比如定向推送诈骗性质的贷款或某些教育项目时，对社会造成的影响就非常严重了。

Fridman 补充了间接的版本：没有人需要坐在那里抚摸一只邪恶的猫。把目标设定为最大化用户参与度，之后发生的事只能算间接由你造成。公司会为公司自己的利益行事；当这些利益与人们的利益一致时，自然没问题；完全自由的市场则会因为信息不对称而失灵。他还认为，Facebook 和谷歌未必总是知道什么对社会有益，哪怕做好事对品牌有帮助也一样。Darling 说了一句她自己承认在她的圈子里有争议的话：她不认为每家雇用伦理学家、成立跨学科委员会的公司，都只是在粉饰形象。很多公司是真的在意正确的答案，只是不知道答案是什么，所以在寻求帮助。把那个抚猫的反派拿出来痛骂，太容易了。公司内部有很多心怀善意的人。我们绝对需要的是更多跨学科的合作，无论是在公司内部，还是在政策制定中，因为技术进步已经飞速向前，你需要懂技术的人去和懂社会影响的人对话。除此之外，没有别的解法。

欧洲一直在尝试立法，推动算法透明：如果一个系统做出的决定会影响某人的生活，人们就应该能看到它是如何做出决定的。Darling 本人并不研究这方面，但她认为，这种权衡是真实存在的：公司需要一定的竞争优势，否则会扼杀创新；而就目前某些用途而言，人们仍然需要了解这些系统是怎样运作的。她说，软件和人工智能领域的知识产权已经彻底失灵。专利法像一把扳手。它用在制药上很好使，搬到别的领域，就等于拿扳手乱敲一气，然后指望能敲中。

代码自动享有著作权，但稍微换个实现方式，就能绕开它。软件专利在理论上可以申请，但在她于大学读博期间的经历里，这件事简直荒唐：要见的律师和开的会太多，感觉像是花掉了几十万美元。车库里单枪匹马搞发明的人，已经是过去的事了。等专利批下来，往往已经过去五年，代码早就过时了。媒体实验室默认采用开源，原因很实际。学生会问怎样保护自己的代码，工作人员则说，这不是问题所在。真正的问题是，怎样让别人愿意用你的项目。外面的东西太多，你甚至不知道能不能获得关注。开源既能分摊工作，又能保留署名。

她说，养孩子让她更清楚地看到，现在的系统和人类智能并不相同：她的儿子学习的方式很不一样，拿他去和机器比较，没什么意思。真正值得关注的，是这些系统将为他塑造怎样的世界。她对大规模数据收集的社会影响更加担心。展望未来五到十年，她想要的是一个家用社交机器人，形状不止是一个圆柱体。她喜欢 Jibo 的一些特点，希望有公司能把它做成功。谈话最后回到了商业上的难题：期待、功能，以及一个无法不依恋机器的物种。这既是产品的机会，也是伦理上的风险。