十位同事有九位说远场语音做不成

Lex Fridman 以电影《她》（Her）开场。电影里，一个人爱上了一个 AI 的声音，他问，这种纯粹基于声音的关系，是不是已经触手可及。Rohit Prasad 是亚马逊 Alexa 的副总裁兼首席科学家，也是最初的创建者之一。他没有以影评人的口吻回答。他注意到，各种助手在日常生活中迅速普及，并且认为，银幕上展示的一些实用功能，确实已经可以实现。至于深厚的浪漫情感，那是另一回事，他不愿把两者混为一谈。

然后他换了一个框架。助手的价值应当看它超越人类的地方，像不像人只是其中一部分。一个人只能待在一个地方；Alexa 可以同时在手机上、家里和办公室里。人的记忆有限，又模糊；助手的记忆则可以接近无限，而且精确。他认为，只拿人来衡量系统，会把讨论拉低。Fridman 反驳说，用户感受到的仍然是房间里的一个小生物，感受不到整套基础设施。Prasad 同意，人会把机器拟人化，但他仍然希望把比较的范围放宽。

人们真正想要什么，取决于具体场景。在房子里走动时说“开灯”，这不是一场拟人的对话，Alexa 不该开始闲聊，而应该把指令执行完。“这已经不单纯是人与人的交流了，它是人与机器的互动。”有些场合需要人性，有些场合则需要机器性。Alexa 可以是陪伴者、朋友、助手或顾问，而界限，他说，取决于请求所处的语境。

Fridman 提到图灵测试（Turing test）和它的批评者，问 Prasad 会怎么定义智能。Prasad 没有模棱两可：能够对话，就是最终智能的标志，“这一点毫无疑问”。人类通过感官收集数据，再用大脑做决定；机器有类似的感知和行动能力。它们已经领先的地方，在于计算、近乎无限的记忆，以及毫不含糊的检索，机器不会忘记它见过谁。

在他的理解中，智能就是对话，加上基于世界知识和感官输入的推理。考虑到机器正在具备的能力，它甚至能超越人类水平。Fridman 问，如果抛开 Alexa 这个产品，什么会让他印象深刻，他依然把 Alexa 的对话能力当作一个很好的测试，同时指出，AGI 仍然相当遥远。他不希望这个测试只限于解析意图或抽取实体。目标是人机对话。

自动驾驶汽车，以及围棋、国际象棋这类游戏系统，显然都需要数据驱动的智能。但 Prasad 仍然把它们排在开放式对话之下。在游戏里，最终目标是定义好的，状态也是已知的。在对话里，目标往往没有定义，你可能不知道自己处在什么状态，中途还可以改变主意，比如计划周末行程时，把一项活动换成另一项。他说，这种分叉让人机对话成了检验智能的终极测试。

Alexa Prize 是抛给大学的一项大挑战：造出一个社交机器人，能够围绕不断变化的话题，连贯而有吸引力地对话 20 分钟。Prasad 说，和一个陌生人聊这么久，甚至和一个朋友聊这么久，都非常难。访谈时，比赛已经办了两届：华盛顿大学赢得了第一届，加州大学的一支团队赢得了第二届。第三届已经在进行，有十支队伍参赛。在早期的比赛中，亚马逊先花力气搭建基础设施，让各高校能够发布体验、开展研究。

失败不只是没有达到 20 分钟，质量同样重要。决赛前，参赛队伍会与数百万 Alexa 用户交谈。在实验室里，演员与机器人互动，三位专家评委给它们打分：三人中要有两人认定对话“达标”，才算过了 20 分钟这道门槛。在现场，用户回答的是一个更简单的问题：这次体验有多好，从一到五分打分。在对话中途退出本身，就是一个信号，说明机器人在哪里失去了对方。

Fridman 把它比作美国国防高级研究计划局（DARPA）的自动驾驶挑战：第一年没有队伍跑完全程，第二年才有几支队伍跑完沙漠赛道。Prasad 说，这个问题更难。他们离连贯、有吸引力的 20 分钟对话还很远。他给出的时间表是五到十年。进展依然巨大：回应质量在提高，幽默，真正的幽默，不是那种耍宝式的搞笑，开始出现。机器人正在学习什么时候插入笑话，在不熟悉某个领域时如何继续聊下去，并且在 20 分钟的时限下，学会用巧妙的办法掩盖缺失的事实。

Fridman 问，参赛者会不会刻意推动带有攻击性的话题，比如骂人，或者通过争论把人拉进来。Prasad 先重申了这个奖项存在的理由。研究人才正在流向产业界。学术界有失去三样东西的风险：大量数据、庞大的算力，以及用真实用户的收益来检验进展的清晰途径。Alexa Prize 把这三样都打包了起来，这就是他把它列为亚马逊最喜欢的项目之一的原因。还有一个副作用：说一句“Alexa，我们聊聊吧”，成了商店里使用最多的技能之一。

这里有防护栏。敏感内容过滤器不只看关键词，还会看语境，有些话题被明确禁止，因为这些设备是放在家里的便利工具，经常有孩子在旁边。比赛只向大学开放，这样校园里还有发明创造的空间，研究生和教师也就没有理由全部去产业界。选择加入的用户会被告知，他们在和一个比赛中的社交机器人对话。有些人来帮忙，有些人来玩，还有些人会以对抗的方式，试探机器人到底理解了多少。

要赢需要什么？Prasad 的诊断很直接：系统依然主要是在查找意图，还没有围绕对话进行推理。如果话题是昨晚的比赛，机器人必须在语境中理解实体，理解 Tom Brady 当时实际是怎么打的，别只抛出一个有趣的小知识，就把它当成智能。他说，很多时候，系统查到一条事实，返回的东西“差不多接近”，但并不是真正的答案。这道鸿沟，也就是真正的理解和推理，正是研究必须前进的方向。

研究人员习惯于干净的标注语料库，然后再用算法。Alexa Prize 不是这样运作的。团队必须从真实反馈中学习：一到五分的评分，你以后还愿不愿意和这个机器人聊天，开放式评论，以及用户退出的那一刻。“这不是 DARPA 的评估，也不是 NSF 资助的研究，你手里也没有什么漂亮的语料库。”这是真实世界，规模大得惊人，他觉得这很美。而优化目标本身，仍然是一个研究问题。

Fridman 引用 Prasad 的话说，要让智能助手真正聪明，唯一的办法是给它眼睛，让它去探索世界。Prasad 说，这句话是从一场关于学习的哲学讨论中摘出来的，但他仍然认同其中的大意。人类通过经验、观察和教导来学习，而且效率很高。机器，尤其是这类助手，则是低效的学习者，需要灌进大量文本和音频。下一波浪潮不是“更少的数据”，即没有什么可学的。它是更快地学习：弱监督、无监督方法，以及在一个领域或语言之间的迁移学习。在这种情境下，其他感官也很重要。人类本来就能从嘈杂的数据中学习，这一部分不应该改变。应该改变的是学习的过程。

他认为，具身（embodiment）是个错误的执念。Alexa 已经存在于第三方的机器人、微波炉、汽车、电动牙刷，以及亚马逊自己的设备里。它是一个虚拟助手，因为它同时存在于多个地方，所以超越了人类。“从某种意义上说，实际的身体对我来说并不重要。”语音很关键，但不是全部，现在也有屏幕了。能分辨出是 Alexa 还是别的什么在说话，对于归因会很重要。他认为，AI 的身份将至关重要。

闭上眼睛：什么会让你认出 Alexa？美国、英国、印度和澳大利亚版本都说英语，听起来却各不相同。辨认不只靠配音演员的声音。用词选择、语气、语速、发音方式，解释是简短还是冗长，这些都是人格的一部分。个性化带来了一个产品困境：一个人格可以对一百万人进行测试；越个性化，你就越难确定它是否是一种好体验。Prasad 的答案是把控制权交给用户。

“Remember This”是明确的：你告诉 Alexa 把某件东西存下来。Prasad 把自己的车辆参数和常旅客会员号都存了下来。一旦你教会 Alexa 家里每个人是谁，说话人识别就能实现个性化；而当个性化操作发生时，体验也是透明的。音乐服务偏好，比如 Spotify、Amazon Music、Apple Music，是在应用里设置的，所以“播放 Sting”会按照设置来选择。至于形而上的背景故事，比如出生、家庭，还为时尚早。Alexa 可能会回答自己是什么时候出生的，但完整的历史身份还没有定下来。他怀疑，参赛的社交机器人，可能会先长出身份。

Fridman 以心理学为依据指出，深厚的人际关系里有争吵、紧张和拉扯。这种味道应该出现在 Alexa 身上吗？Prasad 说出了缺失的成分：信任。紧张可以是健康的；但在这里不能妥协的，是信任。“在某种意义上，AI 要赢得客户信任的门槛非常高，比人还要高。”

这不只是隐私和个人数据的问题，还包括日常行为：一致性，以及系统理解你的准确程度。你给某人打电话说网络断了，对方没听懂，你马上就会失去信任。对 AI，这种情况放大了十倍。期待也是双向的：如果你期待它聪明绝顶，它笨拙就会让你生气；如果你只期待它是个简单的工具，它太聪明的举动同样会让你不舒服。

Prasad 两边都经历过。作为研究人员，他偶尔会因为门槛这么高而感到沮丧；作为客户，他说这门槛绝对必须高。社会会花很多年去追问，我们对 AI 犯错的标准，是不是和对人犯错的标准不一样。Fridman 研究自动驾驶，他同意，人们对这些系统设定的门槛不合理地高，而 Prasad 把这既看作挑战，也看作他还有饭碗的原因。

Prasad 说，隐私必须从一开始就围绕两个原则来设计：透明和控制。在第一代 Echo 上，听到唤醒词（wake word）时，灯环会亮起，音频才会发送到云端。一个物理静音按钮会切断麦克风的电源。客户可以在应用里查看每一条录音，并删除它；以后他们还能说：“Alexa，删掉我今天说过的话。”另外有一个开关，让用户禁止人工标注员查看自己的数据，这是针对需要标签的监督学习流程设计的控制。

Alexa 在偷听吗？“Alexa 只在设备上监听唤醒词。”你可以在 Alexa、Amazon、Echo 或 Computer 中选一个作为唤醒词。在他看来，养猫毛衣的轶事，也就是谈论猫毛衣之后就看到广告，并不是设备在偷听。也许是冬天到了，毛衣很流行。“我们也没那么独特。”人们仍然会质疑这种解释，Prasad 说这没关系；亚马逊必须持续赢得信任，因为“客户至上”是他作为研究人员自我约束的领导原则。

Fridman 作为一名机器学习从业者，希望有一天客户会选择始终在线的收听，因为在有控制和信任的前提下，更多数据会让产品更有用；他担心人们对数据的敏感程度，超过了生活改善所值得的程度。Prasad 比较克制。社会越来越愿意为了好处分享数据，但并非人人都愿意，一种尺寸不可能适合所有人。两项现有功能体现了这种模式：后续模式会重新打开麦克风，让你不用重复唤醒词就能加上鸡蛋、牛奶和面包；Alexa Guard 在你离家时，会监听烟雾报警器或玻璃破碎之类的声音。用明确的许可，换取高价值的行为。

亚马逊的流程叫逆向工作法（Working Backwards）：先写新闻稿。灵感来自《星际迷航》里的计算机，但项目仍然需要一个起点问题。2013 年 4 月 Prasad 加入时，那个问题就是远场语音识别，也就是在房间另一头对设备说话。在他原来的研究圈子里，这被认为是无解的。首先要解决的是唤醒词检测：“Alexa”是一个常见的词，发音上接近“I like you”和“Alex”。设备必须判断这个词是不是在对它说的。“I love my Alexa”和“I hate my Alexa”都含有这个名字，但都不应该唤醒音箱。

Fridman 开玩笑说，这档播客会把“Alexa”说上一百万次。Prasad 说，设备可能只会被唤醒几次。他们有一些技术，包括类似水印的广告和媒体过滤器，用来区分人声和回放声。这个问题还没有完全解决，但他们非常在意。唤醒词之后，是在 20 英尺外进行大词汇量识别，旁边可能有儿子在放音乐，女儿在跑来跑去，麦克风也不会是桌上那种贴近说话的。

神经网络在语音识别上才刚刚显示出希望。这个团队是亚马逊内部的一个创业小组，第一天并没有把所有赌注都押在深度学习上。第一件事是数据。远场训练数据并不存在，因为当时还没有客户。他们发明了收集数据的办法。然后他们加倍投入深度学习，以及分布式训练，让训练时间随数据量线性增长。把这些数据、深度学习和可用算力结合起来，他们在拿到数据后的六个月内，把错误率降到了原来的五分之一。正是在那时，Prasad 有了它会成功的信心。

语音识别团队当时只有六个人。Prasad 第一次开会时大约有十个人。其中九个人认为做不成，想建议管理层改用电话语音做客服。Prasad 眼睛一亮：语音研究者一直在寻找一款杀手级应用，而这就是。他们必须在没有用户可以对照的情况下，先立下“神奇般准确”意味着什么的标准。Echo 于 2014 年 11 月发布。“你真的只有一次机会。”如果他们低于那条线就发布，他认为这个品类根本不会存在。团队里的科学家后来也采用了逆向工作法：先写论文的论点，结果部分先空着。

识别之后，是多领域的自然语言理解。窄领域是可以做到的；但音乐、信息、闹钟、计时器和智能家居加在一起，而且还没有客户基础，就是另一个数量级的问题。业界仍然依赖基于规则的语法。亚马逊先走了统计路线：语言理解、槽位和实体识别，以及内部分类器，都是统计的。然后他们再建立确定性的匹配，去修复模型产生的漏洞。纯统计不够，纯规则也不够。

实体消解是一个现实问题。“播放 Stones 的歌”可能是指 Rolling Stones，也可能是指 Stone Temple Pilots。Prasad 希望把准确率做到九十几，并且不需要额外追问，但 Alexa 像人一样追问也没问题。早期的 Alexa 是交易型的，话语简短，一次一个动作。上线时，他们大约发布了 13 个大领域；访谈时，Alexa 已经有超过 90,000 个技能。音乐、信息、智能家居控制和计时器是早期的赢家。还有一些“直觉”，比如你上床睡觉，却忘了关车库灯，已经以更主动的一层开始出现。

那一年的 re:Invent 大会上，亚马逊推出了 Alexa Conversations。过去，开发者需要手工编写整个对话流程，像语音导航（IVR）那样：如果客户这样说，就那样做。新的方式是为你的 API 提供示例交互，再用这些数据训练出的循环神经网络来构建对话，不需要写对话代码。更深的突破在于潜在目标（latent goals）。“附近在放什么电影？”可能意味着买票，也可能只是随口好奇，或者想确认某部电影是否还在院线上映。

客户买了四张票之后，Alexa 可以推荐附近的餐厅，而不需要再问人数和时间，因为这些信息已经在会话中了。认知负担从客户转移到了机器身上：预测目标，并采取下一步最合适的行动，包括在用户说“叫个优步”时切换技能。会话内的短期记忆已经在用。长期记忆，比如你下周更喜欢哪家餐厅，仍然是未解决的问题，Prasad 称这还是早期阶段。

Fridman 报了一个 bug：他穿着同一件黑色衬衫，做同样的事，Alexa 却一直放《Stairway to Heaven》的翻唱版，不放 Led Zeppelin 的原唱。Prasad 把它记成了正式的问题报告。更大的意思在于自我学习。Alexa 会在没有人工监督的情况下，利用行为信号自动收集数百万条话语：比如播错了歌，或者说“不是这首歌”，或者重复请求。电台名称容易混淆 M 和 N，尤其是 Prasad 带有的印度口音；系统开始自动修正这类模式。有些用户希望得到修正已生效的确认，有些人则会觉得烦。他认为，可教学的 AI 在助手领域只会越来越大，而这个循环是完全无监督的。

“更自然”也意味着神经网络语音合成（neural TTS）要在音色、节奏和语调上听起来像人，并通过听力测试来验证。更难的问题是发现。有大约 95,000 个技能，老的模式是让一个指定的技能告诉你 X，这是把应用的隐喻带进了语音。语音应该是无缝的界面。一个深度学习排序器会为“帮我叫辆车”筛选出候选技能，用偏好在各个网约车服务之间做选择，然后返回最佳回应。清单类内容可以一次完成：加上饼干、牛奶和鸡蛋。记忆应该统一日历、“Remember This”和提醒，让“我什么时候要去妈妈家？”这样的问题直接就能用。

谁负责这种集成：技能开发者，还是平台？两者都负责。技能质量通过 Alexa Skills Kit 的工具来保证；任何开发者，包括达美乐（Domino's），都可以上线。把一个说得不具体的请求正确分派下去，比如用户说“帮我订个披萨”，而没有说“打开达美乐”，这是 Alexa 的工作。把视角拉远，披萨可能是哄孩子的一个晚上，算不上一个 SKU。Prasad 说，这就是真实世界里的对话式 AI：客户很快就会失去耐心，而学术界的自然语言处理（NLP）问题，并不是最要紧的那个。

挑战是一层层叠加的。第一，把基础做对：单次交易必须做得近乎神奇。你订好了一晚的安排，却没能开灯，这是不能接受的。第二，推理：根据当前信息和历史推断潜在目标，然后选择下一步最好的行动，这有点像自动驾驶汽车，只不过假设空间大得多，目的地也没那么有限。第三，主动性：随时都有直觉，而不只是被动回答。从面部或远场音频中读出沮丧，他说，是情感计算（affective computing）中非常非常难的问题。

深度学习够用吗？对他想要的这种跨越来说，还不够。他喜欢的方向包括：用更少的标注数据学习、零样本与单样本学习、主动学习，以及跨领域和跨语言的迁移。深度学习与这些方法的结合正在进行。下一波浪潮需要推理。好消息是：基于预测的方法在完成客户任务上还没有被用尽。对于 Prasad 热衷的高质量体验，推理必须被解决到与语音和意图识别已经达到的程度相当。他把它称为最难的问题，因为假设空间巨大，而一旦记忆超出会话范围，它还会进一步爆炸。请求分布的头部是集中的；长尾，以及数万个技能之间的组合，则不是。

Fridman 请 Prasad 在五年和四十年的时间尺度上，各写一份逆向工作法的新闻稿。Prasad 在这个领域只愿意想五年；五年前，Alexa 就已经超出了他的想象。他的五年判断是：面向目标的对话与开放领域闲聊之间的界限将会消失。买电池是一次性的交易；买相机则是研究。“Alexa，帮我找台相机”，不清楚算是交易，还是探索。Fridman 承认，他在 Alexa 上买过的东西，都是先在电脑上买过的。即使是一个有限的购物目标，也有庞大的属性空间、站内外的评价和论坛。“科德角（Cape Cod）这周末的天气怎么样？”背后藏着一个目的。把成功定义为用最少的步骤完成目标，任务和闲聊之间的区别就消失了。

四十年也完不成。即使只限于人类智能，他说，我们还离得很远：从感知到神经处理，再到大脑如何存储信息，我们仍然不知道怎样表示知识。第一个五年的转变已经完成：问 Alexa 天气、重新下单或者播放最爱的歌曲，比拿起手机还要自然。接下来的五年：毫不费力地规划一个周末、一顿饭或一个夜晚。他们会永远研究这些问题，他也不会假装一张路线图能在五年内解决全部问题。

Fridman 问，坐在家中对话式智能体的中心，是什么感觉。Prasad 说，这是一种特权。他在剑桥待了很多年，做这个领域的研究。在这次对话前五年，他几乎要离开了，因为他找不到一个客户会喜欢、而不仅仅是觉得不错的杀手级应用，实验室的工作也落不了地。看到数百万乃至数十亿人在使用，令人满足，而且还早得很，他还想再做二十年自己热爱的工作。2014 年推出 Alexa 是一个开始；推出 Alexa Skills Kit 则是“让 AI 平民化”，它是语音和语言方面第一个真正的 SDK。现在，借助智能体规划一个夜晚，已经属于可能的范围了。论文不再是唯一的回报，客户在使用这些工作，才是。他觉得没有比这更好的位置了。