我们仍在严重低估深度学习

2012 年的 ImageNet 竞赛，是所有人都已熟知的故事。一个名为 AlexNet 的神经网络，以超过十个百分点的优势击败了第二名，这一结果如今被普遍视为深度学习革命的公开起点。Lex Fridman 在这场 2020 年的对谈开头，把当时担任 OpenAI 联合创始人兼首席科学家的 Ilya Sutskever，与 Alex Krizhevsky 和 Geoffrey Hinton 一起列为那篇论文的三位作者之一。Sutskever 自己的时间线，比这场竞赛开始得更早，也更安静。

他说，大约在 2010 或 2011 年，有两件事情对上了。James Martens 在 2010 年发明了无 Hessian 优化器（Hessian-free optimizer），并用它从零开始、不做任何预训练，端到端地训练了一个十层网络。“那件事发生之后，我想，就是它了。”他当时的推理几乎有些天真：十层网络能够表示复杂的函数，大致相当于大脑能在一百毫秒内，借助缓慢的神经元放电识别一个物体。只要用足够多的有监督数据，训练一个足够大的网络，它就一定会成功，因为你总能找到最好的那个网络。

当时他手里的理论并不完整。他以为数据量超过参数量，就能防止过拟合；如今他知道，严重过参数化的网络仍然可以泛化。真正关键的疑虑在于算力。他认为反向传播会奏效，不清楚的是，是否有人能训练出一个令人信服的网络。随后，Krizhevsky 为卷积网络写出了极快的 GPU 内核，计划就变得简单了：去做 ImageNet。十年之后，Sutskever 赢下了这场赌注，而他仍然挂念的问题更加阴郁。他后来会说，这个领域仍然严重低估了深度学习能做的事。

Fridman 问，这些早期直觉有多少来自大脑。Sutskever 对这个类比很谨慎，但仍承认其来源。他说，神经网络的整个想法，直接受到生物学的启发：从 20 世纪 60 年代 Frank Rosenblatt 的感知机，到 Warren McCulloch 和 Walter Pitts 试图设计一种有点像神经元的简单计算对象，都是如此。Kunihiko Fukushima 的卷积网络，以及后来 Yann LeCun 为图像处理引入的受限感受野，也沿着同一条线。大脑类比真正奏效的情况只有少数几个。但这已经足够了。

他自己的立场是务实的。一个人工神经元，如果造得足够好，可能和真实神经元并没有太大区别。“我们就先假设它是，然后放手去干。”两者的差异仍然重要。大脑使用脉冲，人工网络使用连续激活。他指出，追求脉冲神经网络的人，往往最后会在脉冲之内模拟非脉冲的训练。他认为脉冲是关键差异的先验可能性并不高。更深的问题是：为什么这一切根本能够奏效？

大脑中真正引起他兴趣的是时间。依赖脉冲时序的可塑性（spike-timing-dependent plasticity）会在输入恰好先于神经元放电时加强突触，而在输入恰好晚于放电时削弱它。“我有九成把握它是对的，”他补充说，“如果我这里说错了，别太生气。”前馈网络和普通的循环网络，都把时间压平成离散的步骤；而大脑保持着一个连续的时钟，时序本身就携带信息。他仍然认为循环网络能够做我们想让它做的任何事，即便 Transformer 目前已经取而代之。也许它们会卷土重来，但他不会把身家押在这上面。

Sutskever 说，让训练变得可以想象的那个概念飞跃，是代价函数（cost function）：一个衡量系统表现好坏的标量，梯度下降可以把它最小化。事后回看，这个想法显得平淡无奇。Fridman 对这种安心感提出了质疑。只有一个损失的有监督学习，事后看来很容易理解。博弈、进化和经济并不提供一个干净的标量，而新的架构可能需要许多个损失，或者会移动的损失，甚至根本没有损失。

Sutskever 承认这一点。在博弈中，你推理的是均衡，而不是一个你要沿着下坡方向去压低的数字。他不确定生物进化在数学意义上是否有一个代价函数。你可以谈论一个过程趋向的区域。“我不觉得代价函数这个类比最有用。”他说，经济同样如此。如果进化和市场都能在没有整洁目标的情况下运转，那么深度学习对单一目标的执着，或许本身就是一个瓶颈。

他的回答仍然很务实。自我对弈已经放宽了这个框架，那些奖励“让预测器感到意外”的探索方案也是如此。他依然是代价函数的大粉丝。它们有效，而且非常有效。也许某一天，更深刻的观点会让它们处于不那么中心的位置。他不知道。他不会押注它们会从工具箱里消失，也不会押注它们不会。眼下，只要能用代价函数完成工作，就应该用它。

神经网络已经存在了几十年。ImageNet 之后的十年里，究竟发生了什么变化？Sutskever 的清单分三部分，而且没有一项是新的算法。这些想法早已存在。缺少的是大量有监督数据、大量算力，以及相信把两者与旧想法结合起来会奏效的信念。GPU 出现了，带标签的数据集也出现了。总得有人相信，这种组合就足够了。

他为那些不相信的人辩护。后来的人喜欢在怀疑者面前摆出优越的样子。但当时的事实更加难看。神经网络在任何事情上都确实行不通，在几乎所有任务上也都不是最好的方法。“说这东西没有任何吸引力，那是相当理性的。”在那个世界里，不相信算不上想象力的失败，它只是对记分牌的一种合理解读。

打破僵局的，是一个能拿出无可辩驳证据的硬核基准测试。ImageNet 扮演的正是这个角色。Jitendra Malik 和 Alexei Efros 等计算机视觉权威持怀疑态度；Hinton 则恰恰相反，是坚定的支持者；AlexNet 用一个没人能绕开的结果结束了争论。Sutskever 把这个教训推广开来：一个没有硬核测试的领域，会陷入立场之争，声音最大的一方获胜；一个拥有无法造假的测试的领域，则会把争论转为工程问题。“这就是为什么我们能避免无休止的辩论。”

Fridman 问，视觉、语言和行动是不是不同的科学。Sutskever 的回答很快：机器学习有大量的统一性。只有一条、两条或三条非常简单的原则，它们几乎以相同的方式适用于不同的模态和问题。一篇改进视觉优化的论文，往往也会对强化学习有所帮助。归根结底，它是同一台机器。

他预计视觉和语言会继续融合。几年前，自然语言处理还是一堆微小的架构，每个任务一个。到了 2020 年，所有这些任务都由同一个 Transformer 来完成。再往前看，每个小小的 AI 问题都有自己的专家和自己的特征工程。“现在这一切都已被深度学习吸收了。”卷积网络依然主导视觉，Transformer 主导语言，但他认为单一架构是可能的。他不会说得太满。卷积在计算上很高效，这一点仍然算数。

强化学习是表面上的例外。它需要行动和探索，方差也更高。Sutskever 仍然看到统一性，并预计之后会出现一种融合：系统自己决定该提出什么问题，让监督走得更远，最终变成一个你只管往里面倒东西的黑盒子。真正使学习策略与众不同的，是非平稳性（non-stationarity）。一旦你开始行动，你所看到的世界就会开始变化。静态的有监督问题给你一个固定分布，而会行动的智能体会改写下一批数据。梯度、网络以及 Adam 看起来仍然一样。决定差异感觉有多大的，是参照系。

被问到语言是否比视觉更难时，他拒绝了这个问题。难度取决于你今天手里有什么工具，而一旦问题被解决，它就不再难了。在 2020 年，人类水平的语言和视觉都还是难题，只是难得没那么夸张：没有人会在三个月内做完。Noam Chomsky 认为语言是一切的底层，但这一主张会撞上一个更混乱的边界：如果一个视觉系统在读纸上的字母，那么视觉到哪里结束，语言从哪里开始？Sutskever 的猜测是，一个足够深的、能攻克其中之一的系统，很可能也能攻克另一个。他并不百分之百确定。很大程度上取决于你如何定义完美的视觉，以及阅读算不算在内。

Fridman 请 Sutskever 说出他在这个领域遇到过的最美或最令人惊讶的想法。答案不是某个算法。“深度学习最美的地方，是它真的能用。”你有一个小小的网络、反向传播，以及一个理论：它有点像大脑，所以你把它做大，用大量数据训练，它就开始做同类的工作。“这太疯狂了。”把网络做得越大，它就越来越好。“神经网络这些东西居然能用，这我简直难以置信。”

他所信任的直觉，一部分来自经验，一部分来自理论，更像生物学理论，而不是证明。物理学允许你写下精确的理论，然后去做实验。而在这里，有时实验先到，预测则粗糙得多：把网络做大，它就会一直有效。他借用了一个真正有分量的笑话。深度学习，他说，是生物学和物理学的几何平均。物理学有令人恐惧的精确理论。生物学则复杂到几乎不可能有好的预测性理论。深度学习介于两者之间。它有一些类似物理学的规律，也有大量生物学式的混乱。

这也是他认为美丽而神秘的性质仍未被发现的原因。“我们仍然严重低估了深度学习。”如果他知道下一个惊喜是什么，他早就做出来了。回顾过去十年，有几个想法确实感觉很新，但占主导的模式更简单：每一年，社区都说深度学习会走到这一步；第二年，它又走得更远。个体研究者可能发现进展变得更难，因为这个领域已经拥挤，而且技术栈从想法到数据集、分布式系统、集群再到 GPU 内核，层层相连。真正能做成事情的突破，需要巨大的算力。不过他仍然认为，很多重要的工作可以来自小团队。他不会打赌未来三十年的突破都能装进一块 GPU。

2020 年初，Sutskever 与同事发表了《Deep Double Descent》，这篇论文让一个清晰的经验规律难以被忽视。固定数据集，慢慢扩大模型，并且不使用提前停止。小模型随着变大会明显变好。继续增大，性能反而变差，恰好就在训练损失降到零的位置。再继续变大，性能又会回升。这条曲线像一个带尾巴的 U 形，因此被称为双下降。人们原本以为深度学习的现象是单调的。这一个不是。

直觉关乎敏感度。Sutskever 说，过拟合是指模型“对训练集中那些小的、随机的、不重要的东西非常敏感”。当模型小而数据大时，拟合几乎没有不确定性，因此这些偶然的小意外几乎不会移动参数。当模型的自由度与数据的自由度相匹配时，就形成了一一对应的映射：样本中一个微小的变化，会在模型中变成一个明显的变化。假设网络是线性的，那就会存在一整个零误差解的子空间；随机梯度下降（SGD）大致会找到这个子空间中范数最小的点，而这一点可以证明对微小的随机性不敏感。在插值阈值（interpolation threshold）处，这层缓冲就消失了。

一个容易被忽略的细节，几乎掩盖了整个效应。“如果你引入提前停止，就能让双下降的凸起几乎完全消失。”最糟糕的点往往恰好出现在验证性能开始下降的时候，训练还没有走进第二个、更好的区间。验证指标一下滑就停下，你就永远看不到回升。很多团队本来就是这样做的，所以这一现象一直被埋在日常工程之中。其他形式的正则化也能把凸起压平。教训是：更大未必总是更好；规模曲线并非一条直线，难看的中段很容易被误认为死路。

Hinton 曾说过一句俏皮话，半是玩笑：如果你在大脑里找不到反向传播，你就应该把它扔掉，重新开始。Sutskever 把这句话重述得更谨慎。Hinton 确切的意思是：如果反向传播不在大脑里，我们也许能从大脑的实际学习方式中学到点什么；而反向传播仍然非常有用，我们应该继续使用它。这句俏皮话是真的，这条工程建议也是真的。

Sutskever 本人是反向传播的拥趸。这个算法解决的是“一个极为基础的问题，即在一些约束下寻找一个神经回路”。他看不出这个问题会消失。除非有人提出一种本质上不同、同样有效的方法，否则这根支柱不会移动。确实可能出现截然不同的东西，但他不会押注它会出现。在约束下寻找电路，就是这项工作本身。

神经网络能推理吗？Sutskever 给出了一个存在性证明。AlphaZero 里的网络，在没有搜索的情况下，下围棋的水平超过了 99.9% 的人类。大家都认为，围棋需要推理。这个网络难道不已经说明，网络能够推理吗？Fridman 提出异议。人们所说的推理，看起来像是逐步搜索，而围棋可能是一个特殊的棋盘。Sutskever 承认这一灰色地带，但仍坚持他的证明：一个受约束的环境，一个包含相同要素的过程，以及房间里现成的第二个证明，那就是人类。

未来推理突破所依赖的架构，会像今天的网络吗？他认为有可能：更循环一点，更深一点，但大体相似。这些模型极其强大，而人类能够推理，那为什么网络不能？更尖锐的那句话，是经过辩论后留下来的：神经网络有能力推理。“如果你用一个不需要推理的任务去训练神经网络，它就不会推理。”它会用最简单的办法解决你给它的问题。给它一个表面统计就能伪造的任务，它就只学会表面。给它一个只有多步思考才能完成的任务，它也许就会被迫去思考。

Sutskever 曾经说过，神经网络搜索的是小电路，而通用智能搜索的是小程序。在这次对谈中，他修正了这句话。能输出你的数据的最短程序，会给出最好的预测，这一点可以被证明。同样可以证明，找到那个程序并不是一种可计算的操作，无论多少算力都做不到。神经网络是退而求其次、却行得通的办法：它得到的是一个能拟合数据的电路，未必是最短的程序。

过参数化迫使他改写了这句话。过去他认为，好模型应该是小而整洁的。现在他会说：“一个权重中只包含少量信息的大型电路。”把训练想象成信息从数据集缓慢转移进参数的过程。权重中的信息最终并不很大，这正是模型能够泛化的原因。这也是为什么你不能直接跳到最短程序。柯尔莫哥洛夫复杂度（Kolmogorov complexity）是一堵墙。唯一能走通的路，是近似的电路搜索。

他又加上一个比优雅更苛刻的前提。这个领域有一根支柱叫可训练性，它会围绕这根支柱扭曲网络的形状。“这是一个我们不能违反的不变量。”一个更漂亮却无法训练的架构，不会被采用。在把程序找得非常好这件事上，目前还没有好的先例；做这件事的方式，是训练一个深度网络，而这一图示还不存在。他更宽泛的规则则更简单：不要押注深度学习会失败。如果人类能完成某种认知功能，那么很可能会出现某个深度网络也能完成它。长期记忆其实已经部分地存在于参数之中，参数汇集了模型的全部经验。以他以人为中心的理解，可解释性看起来就像问模型它在想什么，就像你问一个人一样，然后希望自我意识随之出现，让系统知道自己知道什么。

语言建模并不是从 2018 年才开始的。Sutskever 把语言上的小型循环网络追溯到 20 世纪 80 年代，包括 Elman 网络。改变这条轨迹的，是同样改变了整个深度学习的那两个变量：数据和算力。语言模型为什么必须很大，也有一个清晰的解释。它们预测的是下一个词。一个很小的模型会注意到字符之间的空格，以及逗号后面的大写字母。更大一点的模型会注意到高频词、拼写，然后是句法。只有更大的模型，才会开始注意到语义和事实。

他拿自己过去的一次实验作为证据。一个在亚马逊评论上训练的字符级模型，在 500 个隐藏单元时还没能捕捉到情感；到了 4000 个时，其中一个神经元开始表示评论是正面还是负面。“情感是一种相当语义性的属性，而不是句法性的。”理论是：模型把句法耗尽之后，就必须去别处寻找。他不会声称今天的模型已经拥有完整的语义理解。他会说，更大的模型显示出了较小模型所没有的迹象。这是对乔姆斯基的一种经验性回应，他希望的是，必须把语言理论强加给学习者。

他说，GPT-2 是一个拥有 15 亿参数的 Transformer，训练数据约 400 亿个 Token，来自 Reddit 上得票超过三个的帖子所链接的网页。为什么 Transformer 会成功？并不是因为某一个英雄式的想法。“Transformer 同时结合了多个想法。”注意力是关键之一，而不是唯一的关键；注意力机制已经存在多年。另外两个事实同样重要。这种架构在 GPU 上运行得极快。它不是循环的，因此更浅，也更容易优化。循环结构带有关于任意长程依赖的浪漫叙事，而深度对优化器而言是一种负担。Transformer 用一部分理论上的能力，换来了可训练性，而可训练性再一次获胜。

他承认自己感到惊讶，然后又收回了这层保留：这其实相当了不起。他此前就预测大型语言模型应该能奏效，但亲眼看到是另一回事。“我们适应得非常快。”认知科学家已经在写文章，说 GPT-2 并不真正理解语言，而建模本身这件事，几个月内就变得司空见惯了。他认为，真正能让圈外人留下深刻印象的，是巨大的经济影响。翻译已经是一个巨大的应用，自动驾驶也会成为。在那里，他同样不会押注深度学习会失败。他感兴趣的下一项研究是主动学习：一个模型用自己的智能，像人一样选择接受或拒绝数据。这种能力和其他能力一样，需要一个真实的问题。一个聪明的 MNIST 加速方案，已经说服不了任何人了。

OpenAI 分阶段发布 GPT-2，是 2020 年一个有争议的决定。Sutskever 的解释很明确。这个领域曾经处于童年，如今正在走向成熟。这些系统的影响已经很大，而且仍在增长。在发布之前考虑这些影响，似乎是明智的，“宁可稍微早一点，也不要稍微晚一点”。他说，GPT-2 很可能会降低散布虚假信息的成本。这种可能性是存在的，但并非确定。分阶段发布就是合乎逻辑的回应：先发布一个小模型，观察人们如何使用，然后再做决定。

他们看到的是许多很酷的应用，却没有已知的负面用途。更大的模型随后发布，其他团队也复现出了类似的系统。他仍然保留着那层限定：没有“我们所知道的”负面用途。很多实验室现在什么都不发布。更难的问题是，拥有强大模型的公司，是否有责任与楼外的人交流风险，包括竞争对手。他认为这种对话是可能的。工作在于逐步建立信任。每个人都在构建将会变得更强大的技术。“归根结底，我们终究是在一起的。”

要构建人类水平的智能，需要什么？Sutskever 不假装知道。他的公式很克制：深度学习，外加也许另一个小想法。自我对弈是他会列入其中的一个想法。它具有“这种令人惊叹的性质：它能以真正新颖的方式让我们感到意外”。OpenAI 的捉迷藏智能体、Dota 机器人，以及 AlphaZero，都产生了没有人编程写入的行为：它们是有创造性且有用的解法，并不只是随机的新奇。当前的系统之所以强大，是因为它们拟合数据。自我对弈之所以强大，是因为它会探索。这正是当今模型并不常规展现的那种能力。

这条路径一定要离开模拟吗？他拒绝二选一。模拟是一种有长处也有短处的工具，应该用。从模拟到现实世界的迁移已经得到证明，尤其是在视觉领域。OpenAI 的机械手，也就是解魔方的系统，是完全在模拟中训练的。“训练的百分之百都是在模拟中完成的。”这个策略被训练得足够适应，以至于能零样本迁移，甚至能应对训练中从未出现过的扰动，比如一只毛绒长颈鹿。这是一个小而干净的例子，而不是一套完整的理论。他预计深度学习的迁移能力还会继续改进。迁移越好，模拟就越有价值，因为你可以把故事的寓意带进现实世界，就像人们玩完电子游戏之后那样。

智能体需要身体、对死亡的恐惧，或是需要保护的自我吗？Sutskever 说，有身体会有用，但他不认为这是必需的。有些东西没有身体就学不会，不过缺了身体也可以补偿。他举了海伦·凯勒的例子：她自幼既聋又盲，却仍然靠剩下的感官达到了很高的认知水平。关于意识，他给出的是一个存在性论证，而不是定义。人类是有意识的。如果人工网络与大脑足够相似，那么至少有一些人工网络也应该是有意识的。他并不是说今天的模型具有这种性质。他是说，如果大脑没有非物质的魔法，那么这种状态就应该能在硅片上实现。如果大脑比我们想象的奇怪得多，那么这一点终将以一堵墙的形式显现出来。他认为这不太可能。

他真正想要的智能测试不是图灵测试。如果一个平凡的系统，比如机器翻译或视觉，从来不会犯一个人类在任何情况下都不会犯的错误，他会感到佩服。准确率已经可以超过人类，而错误看起来仍然是异类的。怀疑者指着这些错误说，如果模型理解了这个概念，它就不会那样做。Sutskever 说，缩小这一差距将是真正的进步。公众讨论则有一个更糟的习惯。21 世纪的 AI 分析常常寻找某个人类绝不会犯的灾难性失误，写文章来讨论它，并让这个轶事安抚所有人。圈外人已经分不清一个演示和下一个演示的区别。他认为，等 AI 真正开始撬动 GDP 时，他们才会真正感到震撼。

Fridman 问，如果 Sutskever 在拥有一个 AGI 的第一个晚上会做什么，然后又问他会怎样运用这份权力。第一个晚上很简单：问各种问题，试图让它出错，然后当它没有出错时感到惊讶。他喜欢的社会图景是董事会和 CEO。城市和国家会为代表自己的那个 AGI 投票选出目标，这是一种被推向下一层级的民主过程。董事会随时可以解雇 CEO。这意味着你保留着一个重置按钮。这个按钮总是管用吗？他认为，有可能构建一些希望被人类控制的系统，就像父母通常希望孩子成功，并且乐于为此付出努力一样。在这一设计中，帮助人类繁荣将是一种系统乐于实现的深层驱动。一个技术构想是：单独训练一个价值函数，把人类的判断内化进去，然后让它作为一个能力更强的智能体的基础目标。“人类的奖励函数在内部，而不在外部。”他说，放弃这种权力，在他看来很简单。Fridman 描述的情景听起来令人恐惧。他不想置身于那样的位置。

问到生命的意义，他说这个问题本身就问错了。它预设了一个外部答案：你的意义是 X。实际的情况是，我们存在，这很了不起，我们应该尽量利用短暂的时间，多享受、少受苦。人的欲望就是目标函数，而且会改变。进化可能想要的是生存和繁殖；但那仍然没有回答个人的问题。他对一些决定有遗憾，事后看来本可以避免，他从自己当时已经尽了最大努力中得到安慰。发表论文带来的自豪感是真实的，但他认为它并不是快乐的来源。幸福在很大程度上取决于我们看待事物的方式。一顿简单的饭，可以让人满足，也可以让人失望。然后他又加上一句与谈论技术主张时相同的保留：他不确定。他不想表现得过于笃定。