青少年二十小时学会开车，汽车却还学不会

Yann LeCun 再次做客 Lex Fridman 的播客。他仍然是 Meta 的首席 AI 科学家，仍然在纽约大学任教，依旧乐于争论。话题的由头是他和 Ishan Misra 合写的文章，题为《自监督学习：智能的暗物质》。标题里“暗物质”的意思是：人和动物在进行一种学习，而今天的机器还复现不了这种学习。监督学习需要太多带标注的样本，强化学习则需要多到离谱的试错次数。他说，这正是我们至今没有自动驾驶汽车的原因。

大多数青少年练习大约二十个小时，就能学会开车。即使自动驾驶汽车已经模拟了几百万小时的驾驶，它也还做不好这件事。常见的回应是，人类带着背景知识，而 LeCun 同意这一点。真正的问题在于，这些知识最初是怎么获得的。婴儿在出生后的头几个月，主要靠观察来了解世界如何运作，因为他们几乎无法对世界采取行动。他们不是在被训练完成某项任务，也不是靠奖惩来强化。他们是在建立世界模型。

你甚至不需要知道汽车是怎么运作的，因为你本来就有直觉的物理知识。如果你沿着悬崖边开车，把方向盘朝向落差的一侧打，你就知道这不会有好结果。你从来没有真的掉下去过。一个没有世界模型的表格型强化学习器，要先掉下去几千次，才会把悬崖当成坏主意；再掉几千次，才学会怎么避开；还要再掉几百万次，才能在它将来遇到的每一种情况下都避开。自监督学习就是想让机器拥有这种先验知识，而不需要有人盯着每一个样本。

LeCun 说，关键在于：自监督的设定所包含的信号，远多于监督学习或强化学习。他借用了自己以前的一个比喻，有人称之为“LeCun 蛋糕”。每一次试验中，要让机器预测多少内容，它又能拿到多少反馈？问这两个问题，答案就决定了蛋糕每一层的厚度。

在强化学习中，世界只给系统一个标量：你做得好，或者做得不好。它常常要等很久，才会给出这个结论。没有大量这样稀疏的“戳一下”，就学不到什么很复杂的东西。监督学习的信息更丰富，但丰富得有限。以 ImageNet 的一千个类别来训练，每个样本携带的信息略少于 10 个比特。这只是每张图几个比特的信息，谈不上什么关于世界的理论。

理想中的自监督，目前还没有人真正做出来，它看起来完全是另一回事。给机器看一段视频，在中途停下，让它预测接下来会发生什么。等时间过去，再把真正发生的事情给它看，希望它下一次预测得更准。反馈是一整段未来的视频片段，既不是标签，也不是分数。婴儿其实免费就能获得类似的东西：睁开眼，世界就出现；闭上眼，世界就消失。父母走来走去，拿起东西，开门关门。这些都不是任务。LeCun 说，它们全都是智能的暗物质：在没有任何奖励的情况下积累起来的常识。

Fridman 问，补空白是否就足够：续写一个句子，或者把某些词挖掉；续写一段视频，或者补上中间缺失的帧。LeCun 认为，这是目前该领域最有希望的路径，尽管还不清楚这条路通向的是人类水平的智能，还是只到猫的水平。按他的说法，智能系统一直都在补空白。坐在 Fridman 对面的他，正在推断一个自己看不见的后脑勺。他不知道 Fridman 会朝哪边看，但他知道，主持人不会瞬间消失，又在三米外的走廊里重新出现。

在自然语言领域，这套做法已经占据了主导。给网络看一串词，遮掉大约 10% 的词，然后训练一个巨大的网络把缺掉的词补回来。预训练完成之后，得到的内部表示几乎可以用于任何下游任务。同样的思路在图像上效果较差：进展仍然常常依赖人工设计的数据增强；在视频上则还没有成功。LeCun 说，还没有人能让机器只靠观看，就学会表示视觉世界。

视觉和语言，哪个更难？他说，你越往深处想，就越会发现它们像是同一块蛋糕。他想要的是一种能让两者看起来确实是同一回事的方法，而现在它们还不是。之后，FAIR 在门洛帕克的一篇论文表明，以 Transformer 的方式遮掉互不重叠的图像块，即使不用常规的数据增强也能奏效。视频仍然是个缺口。在他看来，让机器从视频中学习，是该领域最大的一片未开垦之地。

学习世界模型很难，因为预测从来不只有一种结果。世界可能是确定性的，也可能是随机的，无论哪种，都不可能被完全预测。放一段短视频，问接下来会发生什么，合理的续写有很多种。你要求系统覆盖的时间跨度越长，这个集合就越大。技术上的难题在于如何表示这种不确定性：是离散的若干选项，是连续的可能性范围，还是介于两者之间的某种东西。

语言有一个廉价的答案。网络可以给词典里的每个词打分，大概十万个数字，再把这份列表变成一个概率分布。“猫在厨房里追着_____”这句话的空格里，可以是老鼠、激光点，或者别的几样东西。视频却不是这样。你面对的不是从列表里挑选帧。你需要在高维连续空间中表示无穷多种合理的续写，而 LeCun 说，我们没有很好的办法做到这一点。给每个词打分，本身就像一个笨办法，只是恰好管用。按理说，应该有一种更压缩的分布表示。他目前还没有这样的表示。

语言里还藏着另一个取巧之处。当好几个词同时缺失时，模型对这些空格的分布基本上是相互独立的。在“_____ 正在草原上追赶 _____”这句里，狮子与猎豹的概率，并不会限制斑马与瞪羚的概率，尽管狮子捕食的猎物比猎豹的大。独立性假设其实是错的。它之所以还能撑下去，是因为没有人知道该怎么表示符号组合序列上的分布，而这些组合的数量会随着长度爆炸式增长。一种文本的抽象隐变量表示，本可以把这些替换耦合起来，但这种表示还不存在。

Fridman 提出了一个直截了当的质疑：补空白不过是统计，算不上智能，更谈不上深层概念。LeCun 不打算卷入这场争论。智能或许就是某一特定类型的统计。如果批评是说现有系统忽略了因果关系，他同意系统不该忽略：世界模型应当把智能体自身的行动作为输入，这样它才能学会哪些干预会导致哪些结果。你也可以观察其他智能体，推断它们和你是一样的。机制性的解释不一定非要由人类设计者硬塞进去，要么是个体自己学会的，要么是进化学会的。他真正关心的问题是，这是怎么发生的。

LeCun 说，机器的常识还比不上一只家猫。猫有因果模型，对直觉物理和自身身体的动态有极好的把握，而它只用了大约 8 亿个神经元。在我们能复现这一点之前，人类的高级认知可以先放一放。将来或许能打开推理之门的钥匙，仍然是世界模型。在演讲中，他把机器学习剩下的问题归结为三个挑战。第一，让机器学会对世界的表示，这正是自监督的赌注。第二，让机器以与基于梯度的学习相容的方式进行推理，因为深度学习本来就是基于梯度的学习。第三，让机器学会行动计划的层级表示，就像卷积网络（convnet）和 Transformer 已经学会感知的层级表示那样。至于第三个问题，他完全没有头绪。

第二个挑战有一个老名字。模型预测控制（Model Predictive Control）从 20 世纪 60 年代初就有了，NASA 用它来规划火箭轨迹。你手里有一个关于被控系统的预测模型。给定时刻 t 的状态和一个动作，它会输出 t+δ 时刻的状态。如果这个模型是可微的，你就可以把一串假设的动作展开，用目标给最终状态打分，再沿时间反向传播，找出更好的动作序列。LeCun 把这称为一种推理形式。它基本上就是规划。

站在悬崖边的那个少年，做的也是同样的事。汽车的动力学模型不需要非常精确。在脑子里把画面过一遍，放弃那个转弯，走出更好计划的第一步，然后重新规划。控制理论界称之为滚动时域模型预测控制。在经典最优控制中，世界模型大多是手工写出来的，而且大多是确定性的。火箭可以归结为第一性原理；机械臂可以用精细的数学来建模。水、树、枝条、人群，人类能毫不费力地为这些集体系统建立抽象的预测模型。机器却仍然做不到。LeCun 说，这就是未来十年人工智能的重大挑战。

数据增强是一个老把戏：在不改变图像内容的前提下把它们变形，从而扩充训练集，比如平移、缩放、旋转、倾斜、加噪声。自 20 世纪 90 年代起，它就帮助分类器提升了效果。它之所以再次成为核心，是因为许多自监督视觉方法都依赖它。底层架构是 LeCun 在 20 世纪 90 年代初与 Geoff Hinton 同期研究的：孪生网络（Siamese network）。两个共享权重的相同网络，分别看同一事物的两个视图，这两个视图可以来自数据增强，可以来自移动的摄像头，也可以是同一个人的两张照片。训练它们，让输出向量彼此一致。不变性是比较容易的那部分。

难的部分是坍缩。如果没有进一步的约束，网络会忽略输入，直接输出一个常量向量。20 世纪 90 年代初，LeCun 与 Jane Bromley 以及贝尔实验室的同事们给出了答案，也就是现在所说的对比学习（contrastive learning）：把你明确知道彼此不同的样本对拿出来，把它们的表示推开。他们最初是为签名验证做的这套方法，希望把一个 80 字节的编码存到信用卡磁条上，客户是 NCR。它确实奏效了，但银行没有采用。对比学习在高维空间中仍有一个问题：不同的方式太多，因此需要数量庞大的负样本对。SimCLR 来自 Hinton 在谷歌多伦多的团队，是实现这一想法的一种较新的方式。LeCun 已经不再是它的拥趸了。

现在让他兴奋的是非对比方法。只给出正样本对，训练两个网络彼此提供有用的信息，使得其中一个的表示可以从另一个预测出来。Hinton 和当时的学生 Sue Becker 在 20 世纪 90 年代初提出过这一思路的一个版本，之后这个想法沉寂了几十年。LeCun 与现在在阿尔托大学任职的 Stéphane Deny 一起，在 FAIR 重新拾起了它：先是 Barlow Twins，之后是后续工作 VICReg，名字取自方差（variance）、不变性（invariance）和协方差（covariance）正则化（regularization）。DeepMind 的 BYOL 也属于同一类。他把这一整组方法称为过去十五年里他在机器学习中最兴奋的东西，也是构建预测性世界模型的最佳机会：这种模型保留重要的东西，丢掉无法预测的部分，比如镜头平移时，地板瓷砖的具体排布。

他不相信只靠文本就能让机器变得智能。语言中包含的世界知识，比我们所需要的少得可怜。把一个物体放在桌上，再推动桌子：物体会跟着走，这一点显而易见，但他认为，任何语料库都解释不了这一点。他开玩笑说，就算是 GPT-5000 也会漏掉它。要让符号与世界挂钩，必须通过视觉这类高吞吐量的通道。不加数据增强的图像掩码自编码器，是一条新路径。YouTube 上的原始视频甚至可能足够多，经过一定筛选，就能学会怎么当一只猫。多任务学习、持续学习，甚至强化学习，他都视为较短期的工程问题。等自监督世界模型跑通之后，他预计这些问题都会缩小。

被问到 Yoshua Bengio 关于意识的言论时，LeCun 先耸了耸肩：他并不知道意识是什么。很多讨论让他想起十七、十八世纪的一个谜题。人们明白了眼睛的晶状体会在视网膜上投下倒像之后，就开始奇怪，为什么我们看到的世界是正的。以现代科学的眼光看，这个问题多少有些可笑。他怀疑，意识方面的很多文献也属于这一类，不过他依然敬重纽约大学的 David Chalmers 等同事。

他自己的一个推测性假设从世界模型出发。按照这一图景，前额叶皮层就是运行世界模型的引擎。当你专注于一种情境时，就无法同时专注于另一种情境，这说明这样的引擎大概只有一个，只是为了搭木箱、开车或下棋而被重新配置。这就是为什么我们一次只能做一件需要深思熟虑的事。重复的任务会从这个引擎中沉降到某种自动化的状态。一位国际象棋大师几秒钟内就能应对，而 LeCun 要想十五分钟；驾驶练习够多的小时数之后，你可以一边聊天，直到路况变得难以预料，你才安静下来。模式识别已经接管了基于模型预测的深思熟虑。

若这一推测成立，意识就是大脑受限的产物，和头脑有多强并没有什么关系。正因为手里只有一套世界模型，我们才不得不处于有意识的状态。某个执行监控器需要为眼前的处境把这套模型调到相应的状态。假如世界模型和处境一样多，就能让它们同时开工，也就用不着这种调度了。关于感受的那道难题，即“这件事正落在我身上”的那种体会，他视作进化顺带产生的有益副产品：它标示出你对自己唯一那套模型的所有权，而失去这套模型的后果极其糟糕。那些主张把三维空间、物体恒存性或 V1 区边缘检测器直接写死在脑子里的先天论者，也会听到类似的答复。这些东西学起来并不费劲，有的睁眼几分钟就能掌握。没有靠学习获得的，是基底神经节中的内驱力，那些目标函数让人类和猫分道扬镳。

如果造智能机器能教会我们心智如何运作，那么让人类在自我评价上降一个档次，LeCun 并不介意。他拿空气动力学作比较：造出飞机之后，我们对鸟的飞行理解得更透彻了。“中文房间”，即一个巨大的查表系统可以模仿智能、却并不具备智能的设想，在他看来很荒谬。对于强人工智能（在人类拥有智能的每个领域与人类相当），他的回答是毫无保留的肯定。但这不会是明天的事。它需要很长时间，比马斯克等人宣称的更长，也比 DeepMind 的一些人五年前估计的更长。它是人类智能的放大器。至于这套把戏是不是真的，那不是什么需要猜的谜。

如果这样一个系统由内在目标驱动，能感知世界，并且拥有一个批评器来预测某种情境会以好结果还是坏结果收场，他认为它就会有情绪。批评器预测到坏结果时，产生的就是恐惧；预测到好结果时，产生的就是欣喜。如果机器还被驱动去与人打交道，它就会有社交性，也会产生依恋。科幻作品里数据少校那种可以关掉的情感芯片模块，他觉得很荒唐。情绪无法外加，它本来就是带批评器的自主智能的样子。

接下来，法律层面的科幻问题就来了。如果一个心智可以备份和恢复，那么“谋杀”的含义就变了，跳伞也一样。以今天的计算机为基础的机器人，很可能会有备份。LeCun 的儿子们是《暗黑破坏神》的粉丝，还自己做了一款游戏；他喜欢用硬核模式作比喻，在那里死亡就是死亡。他说，也许有一天，复制某些机器人会被立法禁止。与其说复制一个人是在复制心智，不如说是让一个双胞胎晚一点出生。一个出厂时已经做过少量预训练的家用机器人，陪你生活五年，学会了你的生活细节，然后却想去为别人工作，这就提出了一个更尖锐的问题：为了保护隐私，你能不能抹去它对你的全部了解？人类是抹不掉的，你只能请他们闭嘴。

如果机器人是为深度互动而设计的，他认为它们就不能随意删除，就像人不能随意删除一样。风险本身就是体验的一部分。你必须能够失去这个机器人朋友，也必须接受它可能会在推特上发文，说你是个混蛋。一旦宣布某个系统具有感知能力，或者它是为陪伴人类而造的，抹掉它就开始像谋杀。先备份、再删除正在运行的副本，将来恐怕会成为最高法院大法官们的辩论素材。Fridman 和 LeCun 都认为，整场讨论有一个有益的结果：机器人会逼着我们说清楚，我们到底在人类和其他动物身上珍视什么。

Facebook AI Research（FAIR）几乎恰好在这次对话的八年前成立。LeCun 加入时，这个 AI 团队大约有十名工程师和两名科学家。他以总监的身份负责了三年半：招来了第一批科学家，定下了团队文化，并且向管理层解释什么是基础研究、它如何能在公司内部生存，以及它为什么必须开放。他现在称那段时间是彻底的成功。FAIR 发表了顶级研究，发布了 PyTorch 等工具，并直接或间接地塑造了 Meta 所依赖的系统。他说，如果把深度学习从 Facebook 的服务中拿掉，公司会土崩瓦解。

三年半之后，他升任首席科学家，不再管日常事务，转而回去做自己关于自监督的研究。FAIR 现在由 Joëlle Pineau 和 Antoine Bordes 共同领导。FAIR Labs 是自下而上、由科学家主导的；FAIR Excel 则更有组织性，服务于需要工程投入的大型项目。两者都隶属于更大的 Meta AI，而 Meta AI 又属于现实实验室（Reality Labs），与 AR、VR 和远程临场等业务并列。他希望保留 FAIR 这个缩写，并把其中的 F 解释为 Fundamental（基础）。负责品牌的人仍在犹豫。触觉手套属于现实实验室的研究；他之前一直在发帖介绍的机器人触觉感知工作，则是 FAIR 的项目。

Fridman 请他为 Facebook 辩护，因为有媒体把这个社交网络描绘成净负面的东西。LeCun 的回答很直接：媒体所描绘的那家公司，并不是内部人所了解的那一家。他是副总裁。他不参与内容审核的决定，但也没有看到被描述的那些恶行。他说，一项又一项独立研究都没有证明 Facebook 会让人们变得极化，也没有证明在平台上花更多时间会让政治冲突加剧。研究人员曾付钱，请前南斯拉夫的人在斯雷布雷尼察大屠杀纪念日前后停用 Facebook；结果这些人变得更加极化，而那些较多使用 Facebook 的人，反而变得没那么极化。斯坦福大学的经济学家发现，美国的极化程度在扎克伯格出生之前四十年就已经在上升。西德和丹麦同样大量使用 Facebook，极化程度却一直在下降。

如果你想找一个替罪羊，总能找到。如果你想找一个根源，那就不能把它归到 Facebook 头上，他说。他对此很气愤：别人做的事都被算在公司头上，包括刊登这些报道的《华尔街日报》所有者的所作所为。Fridman 拿印刷术作类比。早期印刷的书里有《圣经》，它让人们不经神父也能读经，结果促成了新教改革，以及随之而来长达两百年的宗教迫害与战争。LeCun 说，社交网络远没有印刷术那么糟，而且没有人会说印刷术是个坏主意。按他的说法，扎克伯格决定学习某个课题时，会读论文，包括 LeCun 的论文。他说，媒体描绘的那个人物形象完全不对。

在 NeurIPS 大会上，LeCun 发帖说，他合著的一篇论文被拒了，并在“自豪地”（proudly）一词上加了讽刺性的引号。这篇论文就是 VICReg，一种用于联合嵌入架构的非对比方法。借这个机会，他解释了自己为什么放弃了生成式路线。处理不确定的视频预测，有一种做法是用隐变量生成器：改变隐藏向量，生成不同的合理下一帧，这仍然意味着在预测像素。另一种做法是把未来交给第二个网络，学习观察到的片段和后续片段的表示，让它们信息量最大，并且彼此可预测。不可预测的细节则允许被丢掉。一年半以前，在与 Misra 合写的那篇“暗物质”文章中，他还在倡导前一条路线。如今他已经彻底改变了想法。

VICReg 的第一作者是 Adrien Bardes，他是在 FAIR 巴黎实验室攻读博士的学生，由 LeCun 与巴黎高等师范学院及 Inria 的 Jean Ponce 共同指导。这项工作承接了 Barlow Twins，后者的作者是 FAIR 的 Stéphane Deny、Li Jing、Jure Zbontar 等人。审稿人认为，VICReg 与 Barlow Twins 差别不够大。LeCun 的看法是，它其实就是修好了几处错误的 Barlow Twins，而且这才是大家真正会用的版本。他习惯了论文一时被拒。有些论文先被拒，之后却因为真的管用而被大量引用。他在意的是，一个方法十年后是否还有人在用。会议的认可印章只是次要的。

计算机科学对会议看得很重，这在学科中并不多见。会议至少比期刊更快地把想法推进到社区里。这个领域指数式的增长，意味着大多数审稿人都非常年轻。他说，经验不足的审稿人为了让自己的工作轻松，会专门去找缺陷。大多数论文都有缺陷，好论文也不例外。真正应当看的，是有没有可能改变其他人思考方式的新想法，即使实验并不完美。在热门基准上的小幅提升可以顺利通过。提出新概念的论文则常常通不过。语音识别曾经也患过同样的毛病：一味追着数字跑。

出路有几条：arXiv，把推特当作一种公开评审，还有那些把评审当成公开推荐意见、却不当成关卡的系统。十几年前，在参与创办 ICLR 前后，LeCun 与 Yoshua Bengio 一起写过一份提案：论文先发布到一个公共仓库；任何列出了成员名单的评审机构都可以评估任何论文；不设独占性的发表渠道；评论公开，并以集体名义署名；评估结果能预测未来成功的机构，会获得声誉。一位同时学图书馆学和计算机科学的硕士生，甚至推导出了相关公式。ICLR 保留了公开评审，但在他看来，其他方面又渐渐回到了传统会议的模式。他为社区创新不足感到惋惜，也为对公平和可计量学分的追逐感到惋惜：这种追逐没有换来公平，却在拖慢科学。

把 LeCun 引向神经网络的，是涌现：简单元素在相互作用中产生复杂行为。他还是学生的时候，读到过一本讨论 Chomsky 与 Piaget 之争的书，书中 Seymour Papert 赞扬了感知机。之后他又钻研了 20 世纪 50 年代和 60 年代关于自组织系统的文献。其中许多论文出自 Heinz von Foerster 之手，他是一位德国物理学家，在伊利诺伊大学建立了生物计算实验室。von Foerster 举过一个例子：在零重力环境中，把一盒条形磁铁轻轻摇晃，它们会粘成一个复杂的结构。这就是自组织。从许多方面看，神经网络也是同样的谜题。宇宙似乎正在变得越来越复杂，而按热力学第二定律，无序本应占上风。他说，我们并不理解这一点，物理学家和生物学家也不理解。

我们也没有一个干净的复杂度度量，这让谈论“事物正在变得更复杂”显得有些离谱。柯尔莫哥洛夫复杂度（Kolmogorov complexity）是能输出某个比特串的最短程序的长度，但它只能精确到一个任意大的常数，而这个常数取决于所选的计算机。在贝叶斯框架下，复杂度是负对数概率，看上去定义得很清楚，直到你意识到还需要一个先验，而先验所起的作用，和选择哪台机器是一样的。我们手里的每一种度量都带着一个任意的加性常数。如果对这个量没有更好的把握，关于系统如何变得更复杂的理论，或者关于智能与进化的理论，就无从谈起。

他的演示几乎像是个玩笑，但又不只是玩笑。以 MNIST 手写数字为例。相邻的像素是相关的，这个数据集是有结构的。对每个像素施加同一个固定的随机置换。图像看起来像噪声，变得更复杂了，然而它们的绝对复杂度其实没有变。给别人一副能还原这种置换的眼镜，那团杂乱又会重新变得简单。如果有外星人透过置换眼镜看宇宙，他们会把我们的秩序当成热，而把他们自己的秩序当成结构。连“局部性”这个概念，也可能不是共通的。这就是为什么他怀疑我们能否认出外星生命，也是为什么他认为，关于智能的理论必须等到一种承认复杂性存在于观察者眼中的复杂性概念出现之后，才有可能成形。

LeCun 是个喜欢动手的人。高中时他自学电子学，因为一位表亲有一台需要音序器的模拟合成器。他在高中和大学早期的乐团里吹竖笛、克伦管，还吹一点双簧管，演奏巴洛克和文艺复兴时期的音乐，并且一直想即兴演奏。如果不学萨克斯，捷径就是电子吹管乐器（EWI）：指法接近萨克斯，音色来自合成器。他从 20 世纪 80 年代末起就在用雅马哈和 Akai 的 EWI，但从来没有满意过。你听 John Coltrane 吹两个音，就知道是 Coltrane；你听 Miles Davis 吹小号，就知道是 Davis。声音是生理性的，取决于声道的形状。电子乐器至今仍无法捕捉这一点。多年前在伯克利，他认识了 David Wessel，后者正是为研究这个问题建立了一个音乐科技中心。疫情期间，他在新泽西州的一间工作室里（那里同时也是他的 Zoom 房间），终于开始自己动手造一台。

工作室的地板上摆着微控制器电路和各种古怪的飞行器。飞行是家族病。他的父亲是机械工程师，也自学过电子学，在 20 世纪 60 年代末到 70 年代初做过无线电遥控系统，还把航模飞机交到 LeCun 手里。在消费级无人机出现之前，LeCun 自己做过四旋翼飞行器，装上陀螺仪和加速度计，还自己写了固件。等到这东西可以直接买到，他就不做了，玩起来已经没意思了。

他给想研究智能的年轻人的建议是：先被大问题迷住，比如什么是智能、宇宙由什么构成、什么是生命，甚至时间是什么。然后再学那些保值期长的方法。如果在学 iPhone 编程和学量子力学之间二选一，那就选量子力学。你可能永远当不了物理学家，但你会遇到路径积分，它和贝叶斯积分的公式是同一个。学经典力学，了解拉格朗日量。学统计物理，因为机器学习的数学，很大程度上是 19 世纪末和 20 世纪初的统计物理学家建立的；近些年又有像 Giorgio Parisi 这样的人做出了贡献，他的副本方法刚刚获得了诺贝尔奖。如果你学电气工程，不要跳过信号处理：图神经网络的底层其实是傅里叶变换。

在应用方面，他提到了 AI for Science（用于科学的人工智能）。Meta 和 FAIR 的同事发起了 Open Catalyst，这是一个开放协作项目，利用深度学习设计能够高效地把水分解成氢和氧的化合物与材料。他说，如果用电来完成这件事，在沙漠上铺满太阳能板，再把氢运走，这基本上就等于解决了气候变化。另一个押注是核聚变：等离子体不稳定，深度学习或许能找到一个控制器来把它稳住。谷歌的 John Platt 团队正在做这件事。EPFL 的 Pascal Fua 用计算流体力学的数据训练了一个卷积网络，使一个形状的阻力和升力变得可以求导，于是几何结构本身也能做反向传播。双层扭转石墨烯在某个“魔角”下变成超导体，这类涌现的事实，是第一性原理至今仍然漏掉的。在这些之外，还要读些文学和历史。技术终究要在人类世界里运行，而人类世界很复杂。