成年人能改变去年的想法，网络却做不到

Fridman 开场就问，生物神经网络和人工神经网络之间的差异中，哪一点对 Bengio 来说最神秘。Bengio 说，我们对生物神经网络的未知太多了，而这种无知本身就很迷人，因为它可能藏着做出更好的人工网络的钥匙。他一直在研究的那种错配，是在很长的时间跨度上进行信用分配的能力。大脑能做到这一点，而我们在人工网络里还没有很好的对应理论。这种错配是双向的：它促使我们更深入地理解大脑，也可能给我们带来新的思路，让我们借鉴大脑在哪些方面的做法不同。

他说的信用分配，指的主要是记忆和知识方面，并不主要是强化学习（RL）中随时间累积的奖励。Fridman 给出的三种含义中，前两种就是这个意思。我们把情景记忆存起来，之后再调取它们，用来推断眼前所见的原因，并把结果归因到我们在写入这些记忆时做出的决定或解释上。这样一来，我们就能改变自己当时的反应。包括 LSTM 在内的当前循环网络，在几十步、或许几百步的序列上表现还不错。时间跨度再拉长，难度就会上升，具体难到什么程度，取决于必须记住的是什么。人似乎能在几乎任意长的时间跨度上做信用分配。Bengio 的例子很贴切：他能记起去年做过的某件事，看到新的证据，改变自己当时的想法，希望不会再犯同样的错误。

他认为，其中很大一部分在于遗忘。人只记得真正重要的东西。这是一种非常高效的遗忘：对存下什么做了筛选。他认为这与意识、决策、情绪等更高层次的认知有着有意思的联系，因为什么进入意识、什么被写入长期记忆，都不是微不足道的操作。生物的诀窍不只在于更大的缓冲区，它还有一层过滤机制，这是当前序列模型所缺少的。

被问到深度网络表征世界时最薄弱的环节，Bengio 没有绕弯子。在大型图像或文本集合上训练的最先进网络，确实对这些数据集背后的解释有所理解，但这种理解非常基础、非常底层，远不如人类的理解那样稳健、抽象和通用。这一诊断本身并不告诉你怎么修。它的确提示，应当换一种方式训练网络，让它们把注意力集中在因果解释之类的东西上，而这正是当前神经网络训练完全没有做到的。他还希望语言与它所指的世界被联合学习，别再让图像和视频一条线、文本另一条线。要理解关于正在发生什么的句子，就需要好的世界模型；反过来，语言输入也能提供线索，告诉我们哪些高层语义概念应该位于网络的顶端。

他说，有证据表明，纯粹的无监督表征学习得到的高层表征，没有监督学习得到的那样强大。仅仅是标签提供的线索，甚至还不是句子，就已经非常有力。这一观察与一种流行的默认看法相悖：即无监督学习是通向通用智能的康庄大道，而监督只是权宜之计。在他看来，即便是很薄的一层监督信号，也已经能大幅提升表征的质量。

Fridman 追问：问题出在架构上，还是出在数据集上？Bengio 的回答是两者都不对，他差点就到此为止。数据集和架构本身都值得反复摆弄。关键在于训练目标与训练框架。一是从被动观察走向更主动的智能体，让它们通过干预世界去学习因果；二是设计一种目标函数，使最高层的解释能从学习过程中自己冒出来，这种函数他认为目前还没有；三是奖励探索，而且要奖励对的那种探索。这些问题的答案在于人如何学习，跟数据文件的大小或层数没多大关系。他刚和 Rebecca Saxe 交谈过。Saxe 告诉他，对婴儿的研究显示，婴儿是有方向地去抓取自己感兴趣的东西的，他们不是被动接收的。他们专注于世界里那些最引人入胜、并且以一种非平凡的方式出人意料的部分，也就是那些会促使他们改写自己理论的部分。

只是把模型做得更大、更深，能否在那些浅层表征上取得实质进展？Bengio 不认为从一百层增加到一万层就能解决问题。工程师、公司、实验室和研究生会继续调整架构，尝试各种微调，让当前最好的结果略微提升。他认为这远远不够。如果要让这些学习者真正深入地理解它们所观察和行动的环境，就需要对学习这件事的看法做相当剧烈的改变。

Fridman 问的是一个比层数更有意思的问题：一旦弄清楚如何通过互动来学习，要存下这些信息需要多少参数？我们的大脑比大多数网络大得多。Bengio 同意，要造出具备典型成年人那种广博世界知识的网络，大概已经超出了我们现在的算力。硬件公司正在研发神经网络芯片，所以这方面会越来越好。更尴尬的事实在另一边：即便是最先进的深度学习，也理解不了非常简单的环境，包括它们自己搭建的网格世界。给它们足够多的样本，它们最终能学会。人类可能只需要几十个样本，而这些系统在非常简单的任务上却需要数百万个。

他说，这种失败对于没有谷歌那样算力的学术界来说，恰恰是一个机会：在训练框架、学习模型和智能体学习方面，可以做重要而激动人心的研究，哪怕是在看起来微不足道的合成环境中，当前的机器学习依然会失败。在成年人规模的世界知识上，算力差距确实存在。但它不能成为无视玩具世界里样本效率低下、以至于失效这一问题的借口。

人类习惯把大量知识视为理所当然。1980 年代，符号派 AI 把知识表示、知识获取以及专家系统奉为主要攻关方向。Fridman 说，那一路线之所以被搁置，是因为效果不佳。Bengio 赞同这个判断，同时强调那些目标依然重要。他认为，经典专家系统之所以栽跟头，一个原因是我们掌握的许多知识（比如常识和直觉）并非能有意识地说出来。我们常常做出说不清缘由的决定，事后有时还会自己编一套解释。机器也需要这类知识，但它很难被写成基于规则的形式。老派 AI 对不确定性的处理同样糟糕。还有一样更细微、人们仍然重视不够的东西，是分布式表征：大量参数密集地相互配合，这正是神经网络表现优异的关键，而在符号体系里很难复现。

专家系统的知识被很好地拆解成一条条规则。神经网络恰恰相反，它的因子化程度并不够。Bengio 说，这是当前网络的弱点之一。我们得从经典 AI 那里汲取经验，引入另一种组合性，它在语言和那些规则中很常见，但神经网络本身并不具备。这些年来，他一直相信解耦表征：无论是无监督、有监督还是强化学习，学习算法所构建的表征，应当让那些重要的因素（最好是因果因素）彼此分得很开，并且容易提取。把数据变换到这样一个空间：对我们关心的事物来说，一切都变得容易处理，或许是线性的。他仍然认为这很重要。只是他现在认为，这里还缺了一块，而经典系统能提醒我们注意这一点。

即便变量已经解耦，你仍然需要学习这些高层语义变量之间的关系。它们不会彼此独立。它们之间会有有意思的关系，让你能预测未来、解释过去。在经典 AI 里，这类知识存在于规则之中：一小段规则说明这两个、三个或四个变量相互关联，因而在知道其中一些的情况下，就能对另一些做出判断。除了解耦表征的元素，也就是变量，你还需要解耦把它们联系起来的机制，也就是规则本身。规则之间是整齐分开的。学习时改动其中一条，不必破坏其他的。当前的网络对灾难性遗忘非常敏感：学新东西，可能就把旧的毁掉了。如果知识能被更好地因子化、分离和解耦，就能避免很多这种情况。在像素空间里做不到这一点，那里的变量和它们之间的关系完全相互依赖。他的假设是，在合适的高层表征空间里，变量以及它们之间的关系都能被解耦，而这会带来很强的泛化能力。

这种泛化能力指向了当前机器学习的一个根本弱点：它假设测试分布与训练分布相同。它无法告诉我们，网络在新分布上会如何表现。有人说，如果不知道新分布会是什么样，我们就什么也说不了。可人类还是能泛化到新的分布上。这是怎么做到的？

Bengio 举的例子是一部科幻小说：它带你去一颗别的星球，那里表面上看起来很不一样，但物理定律依然相同。你读这本书，能弄清楚发生了什么。分布差异很大，但你把地球上关于底层因果、物理机制，甚至也许是社会互动的知识带了过去，于是那个视觉上陌生的星球变得可以理解了。这些新分布，不管看起来多么不同，都与训练时的世界有共同之处。当前的机器学习缺少的，是一个能捕捉这些底层因果机制、并让它们能够迁移的模型。人类这一招的来源，在于共享的机制；像素是否相同，倒在其次。

Fridman 又谈到《机械姬》，以及那些担心生存威胁的非 AI 领域的人。Bengio 区分了 AI 社区应该讨论的话题和真正对公众重要的话题。《终结者》里的画面、失控后屠杀人类的 AI、无论我们怎么做都会毁灭我们的超级智能，对公共讨论来说用处不大。他认为真正重要的，是短期和中期内很可能出现的负面影响：人脸识别带来的安全问题和“老大哥”式的监控情景，杀人机器人（他指的是自主武器系统，不是《终结者》），对就业市场的冲击，权力集中，歧视，以及一些可能威胁民主的社会问题。对他来说，生存风险是一种可能性极低的考量，仍然值得学术界研究，就像研究一颗陨石摧毁地球那样。AI 失控的情景与他对当前机器学习和当前神经网络的理解相悖，他不觉得这些情景可信。他对五十年后的情况也没有水晶球。科学家应该研究这些问题，但在他看来，这些并不是当务之急。

谈到《机械姬》，他有喜欢的地方，也有讨厌的地方。讨厌的是它描绘的那种科学图景，无论是一般意义上的科学，还是 AI 领域：工作在某个隐秘的地方，由一个真正聪明的人独自完成。完全不现实。即便是一支身处偏远之地的团队，也做不出这种东西。科学依靠庞大的社群一小步一小步地前进。这个领域的专家，包括工业界实验室里的人，都清楚正在发生什么；信息会流动，也会泄露。气氛与电影里完全不同。Fridman 问，能不能把想法封存起来，让谷歌或 Facebook 内部的突破一直无人知晓。Bengio 说，可能，但不太可能。现在不是这样做的，他也无法预见会这样做。这段访谈中灯突然灭了，Fridman 把它当作不祥之兆来调侃。Bengio 的担忧更接近生存风险那一点：电影对真实科学描绘得如此失真，可能会对公众的理解产生不好的影响。

由此他归纳出一条准则：研究必须多元。研究本质上是在想法的版图上探路。各人盯着不同的方向，这不光是件好事，更是离不开的。对于别人走与他相反、或与他互不相干的路线，他毫不介意。他和同伴们对未来并不自诩掌握了普遍真理，只是凭直觉行事，把力气用在自己觉得最能出力、且社会得失最为攸关的地方。这类辩论理应持续进行。若是社会只剩一种声音、一种思维定式，同时研究资金又集中在少数人手中，那才是糟糕的局面。意见分歧恰恰说明研究有生气，科学健康。

谈到偏见，Bengio 把它分成短期和长期。短期内，相关技术已经存在，而且会继续改进。对于已知存在偏见的数据集——几乎所有记录人类决策的数据集都是如此——你可以衡量对特定群体的歧视，并利用机器学习构建偏见更少的预测器。例如，对抗方法可以让系统对那些本不该敏感的变量变得不那么敏感。这些方法定义清晰，也有不足之处，还需要更多研究。他认为，这些方法已经足够成熟，政府应当开始在关键领域监管企业，比如保险公司，并强制它们使用这些技术。这些方法会降低偏见，但有代价：预测可能会变得不那么准确，所以除非强制，企业不会主动去做。

长远来看，他关心的是把道德价值观注入计算机，这不是五年或十年内能完成的项目。已经有工作在检测图像、声音和文本中的情绪，也有人在研究以不同方式互动的智能体，如何与可能引发愤怒的不公正模式相对应。他说，不公正的处境引发愤怒，是我们与其他动物共有的最基本的情绪之一。构建能识别这类处境的系统，几年之内相当可行，前提是它们对世界有足够的理解，而那还很遥远。你可以从虚拟环境开始：比如一款智能体相互互动的电子游戏，某些情境会引发情绪，然后你训练机器去识别这种情境，并预测一个扮演其中角色的人可能会有什么感受。

他在无监督学习上投入很多，同时也认为有监督学习取得了不少成功。在有监督的场景里，他最热衷的是人与机器人如何协作，而在实践中，这基本指的是标注。Fridman 把它重新表述为人类在教机器。Bengio 很喜欢这个说法。如果你明天就要交付一个系统，把问题简化为标注是有用的。从长远看，教学的过程应当得到机器学习界更多的关注。人们已经提出了“机器教学”的概念：教一个学习型智能体的好策略是什么？能不能训练出一个擅长教学的系统？他的团队有一个项目，是 BabyAI 游戏或场景，里面有一个学习型智能体和一个教学型智能体。教学者最终会是人类，目前还没有做到。教学者利用它对环境的了解（不管获得的方式多粗暴），帮助学习者尽可能快地学会，引导它去攻克最难的部分，或者引导它走到它已知与未知的边界上。辅导系统和人文学科对此早有思考。他认为，机器学习领域的人是时候看看这些了，因为未来会有更多的人参与其中，而围绕如何让这件事行得通的问题既有意思，又缺少人关注。

图灵测试（Turing test）中的对话，哪一部分最难？Bengio 说，难在所有与非语言知识相关的部分，理解句子时你都在隐含地依赖它们。Winograd schemas（Winograd 模式）就是例子：这些句子在语义上是有歧义的，直到你对世界有足够的了解，才能正确解读。这类挑战指向这样一种系统：既理解世界如何运转，包括因果关系，又能把这些知识与如何用语言表达（无论是阅读还是写作）联系起来。法语是他的母语。Fridman 问，通过图灵测试在法语里是否比在英语里更容易。Bengio 认为这与语言无关。他希望系统能用同样的原理和学习机制，去向任何语言的人类智能体学习。语言各有不同，有的语言在某些方面可能略胜一筹，但从理解大脑和语言的宏观图景来看，这些差异极其微小。

他经历过 AI 寒冬。他是怎么熬过来的？靠朋友。他的体会是：要听从内心的声音，不要一味去迎合人群和潮流。如果你对某件事有强烈的直觉，而且没有被实际证据推翻，那就去做。别人可以反驳你，但你基于全部所知形成的直觉，不该轻易被推翻。实验与信念相抵触时，你得调整信念。同时，你也得坚持信念。正是这一点，让他熬过了那些年，也让他坚持那些需要时间才能成熟、才能结果的方向，不管别人怎么想。

AI 的历史由技术突破和那些抓住人们想象力的事件构成。AlphaGo 击败人类世界冠军就是近期的例子。Bengio 认为，这些所谓的里程碑式事件被高估了。科学是一小步一小步前进的。你再迈出一小步，它就是那滴装满水桶的水滴，后果可能非常剧烈，因为你突然能做到以前做不到的事，或者某种设备的成本降到了原来的水平以下，于是打开了一个市场。在商业上，一小步科学进展的影响可以很大；而在科学本身，进展非常渐进。现在，这些小步正在哪里迈出？Bengio 在 MILA 提到两个热门方向：生成对抗网络（GANs）和强化学习。两三年前，蒙特利尔几乎没人做强化学习；现在，学生和像他这样的人都非常感兴趣。尽管产业上的溢出效应仍然很薄弱，进展还会继续，谷歌并没有靠 AlphaGo 赚到钱。从长远看，他希望把强化学习更广义地理解为智能体学习，不一定与奖励有关。他相信，GANs 和其他生成模型，将是理解世界的智能体的关键组成部分。过去强化学习的许多成功都用了策略梯度，学的是策略本身，没有学世界模型，这里面有很多问题。基于模型的强化学习（model-based RL）还没有解决，但如果模型要更快地泛化到新分布，并至少部分地捕捉底层因果机制，领域就必须朝这个方向走。

最后一个问题：是什么让他爱上了人工智能？十几岁时他读了很多书，后来开始读科幻，就是从那里上瘾的。然后他拥有了最早的个人电脑之一，又迷上了编程。他认同，先从小说开始，再把它变成现实。