爱因斯坦曾是五名博士生里最差的一个

Tomaso Poggio 是 MIT 教授，也是大脑、心智与机器中心（CBMM）的主任，被引用次数超过 100,000 次。小时候，他把爱因斯坦当作英雄，理由非常具体。相对论，按他喜欢的那个版本，来自一个思想实验：一个静止的观察者，与火车上的人互相交换光信号。一个心智自我扭转的力量，似乎就足以松开时间与空间和速度之间的依赖关系。对年轻的 Poggio 来说，这就是纯粹的智能。

课堂上的记录与这个神话并不相符。Poggio 对 Lex Fridman 说，爱因斯坦是苏黎世五名物理博士生之一，而且是其中最差的。他是五人中唯一毕业后没有拿到学术职位的人，后来人人都知道，他去了专利局工作。Poggio 想说的重点，不在专利局本身。爱因斯坦显然很聪明，但他不是最优秀的学生。他是一个反对随大流的人，拒绝接受老师和其他同学共同的框架。

Poggio 把这一点变成了科学生涯的一条工作准则：尽量去做与众人相反的事，或者至少做一些与大家明显不同的事。这在股市上同样成立：大家都在买的时候，就别买。他说，科学同样如此。当一个方向拥挤不堪时，有意思的剩余部分很可能在别处。

Fridman 问，时间旅行是否可能，这是 Poggio 小时候曾经为之兴奋的那类物理谜题。Poggio 说，如果可能，那当然很好。在科学里，你很少会把话说死，但以我们对时间的理解，向后时间旅行很可能不可能。向前则是另一回事：把自己冷冻起来，或者乘坐接近光速的飞船。

他还梦想着设计出能实现这些跳跃的智能吗？Poggio 说，有些问题，取决于你如何看待物理现实，可能压根无解，比如凭空造出能量，或者回到过去。而造出能与我们一样好、甚至更好地思考的机器，则是另一回事。短期和中期来看，更现实的路径是让机器帮助我们更好地思考，这已经在我们现有的计算机上发生。他并不认为有什么原理会阻止计算机最终变得比我们更聪明，不过，智能、爱、意识这些词，首先需要被理清。

Poggio 曾把智能称为科学中最大的难题，比生命起源和宇宙起源都更大，他也愿意听取反对这一排序的论点。这份迷恋始于他少年时对相对论的痴迷。广义相对论只是许多难度相近的深刻问题之一。即使他是爱因斯坦，也不可能指望解决它们全部。于是他去寻找一个能解开其余问题的钥匙式问题：一种比爱因斯坦强十倍或快十倍的智能。

最初的动机是功利性的：把人工智能当作扩展我们能力的工具。不久之后，人类智能本身就成了他研究的焦点。这个问题不只关乎科学。它关乎我们用来做科学的那件工具，也就是大脑。它如何运作，从哪里来，有什么局限，我们能否让它变得更好？在他看来，这正是整个科学事业底下的终极问题。

Fridman 问，在不了解人脑如何实现智能的情况下，我们能在构建智能系统的道路上走多远。Poggio 举了飞行的例子。我们解决飞行问题时，并没有用到太多关于鸟如何飞行的知识。重要的是知道比空气重的东西也能升空。莱特兄弟在设计飞机时确实观察过鸟，但你可以说，生物学对飞机本身的贡献并不大。

他说，智能仍然是一场赌注。假设我们最终会有一台机器，在你能让它做的事情上，与一位秘书无法区分。那么，我们是在不了解人脑的情况下到达那里，还是理解大脑才是最快的路径？不同背景的人会下不同的赌注。这是有依据的赌注，并非定理。

按他的讲述，近期历史向神经科学倾斜。过去五到十年的主要突破都从那里开始。强化学习是 AlphaGo 在首尔战胜李世石时的核心算法之一，它可以追溯到巴甫洛夫，追溯到 1960 年代的 Marvin Minsky，再到后来的神经科学家。深度学习同样是 AlphaGo 以及 Mobileye 等自动驾驶系统的核心，Mobileye 由 Poggio 的一位前博士后创立。它的分层架构借鉴了 David Hubel 和 Torsten Wiesel 在哈佛所做的 1960 年代视觉皮层研究。他个人的赌注是，神经科学将持续提供灵感，不一定为每一项未来的突破提供灵感，但会为其中一些提供。

直到最近，Poggio 还觉得人工网络与真实的神经组织相比过于简单。他改变了看法。原因是此前他拿来比较的对象选错了：与早期计算机科学中的思维模型（数理逻辑、Lisp、Prolog）相比，由相互通信的单元组成的网络要接近大脑得多。人工神经元依然是生物神经元的一幅漫画，但它们仍然是神经元：单个单元与其他单元相互通信，这是那些符号系统从来不具备的东西。

他想补上的实际差距是标签。深度学习需要一百万张图片，每张都由人工打上标签。一个婴儿在生命最初几年可能看过数百万张图像，却没有数百万个来自父母的标签。生物学追求的是一个带标签的样本：你只需告诉孩子一次“这是一辆车”，无需说上一百万次。AlphaGo Zero 能够自我对弈，是因为围棋是一个简单的世界。Poggio 投身一生的视觉，则不是这样。

孩子的天赋中有多少来自硬件？他认为，进化是机会主义的。人类 DNA 的基因数量并没有比果蝇（Drosophila）多出多少，而果蝇看起来像是一台约 95% 硬编码的机器。在没有多余基因可供挥霍的情况下，进化只能把我们造成通用的学习机制，再植入非常弱的先验。

面部选择性神经元是一个具体的例子。哈佛的 Margaret Livingstone 把小猴子养在出生后的头几周，让它们只能看到技术人员，但技术人员都戴着面具。在大脑中通常偏好人脸的区域，却没有表现出人脸偏好。Poggio 的推测是，进化并没有提供一个详细的人脸模板回路，因为那需要太多比特来规定连接，而是提供了一块可塑的区域，它会在出生后的头两周对最常见的东西产生印记，尤其是与食物相关的东西。这些猴子在喂食时常常看到技术人员的蓝色手套；“脸”区域中的一些细胞，反而变得对手套敏感了。

1950 年代，神经科学曾短暂地相信大脑是“等势”的：切掉一块，除了性能略有下降，别无特别影响。这种观点建立在大鼠和小鼠的损伤实验之上，后来被证明是错误的。某个区域中风，可能会夺走说话能力；另一个区域则可能夺走腿部的控制。证据来自动物损伤实验、战时士兵的脑损伤，以及近年的功能磁共振成像，它显示哪些区域在执行哪些任务时会亮起来。大脑也具有灵活性和冗余，有些功能有时可以迁移，但模块是真实存在的。

小脑与海马体在解剖上看起来彼此不同。皮层才是难题所在。它是人类大脑中最发达的部分，不同区域分别负责视觉、听觉、运动控制和语言。在硬件层面（神经元类型、连接模式），皮层在这些模态之间看起来都是同一种皮层。对 Poggio 来说，这种一致性主要是学来的，还是主要被规定好的，仍然是开放的，而且富有启发。一种既适合视觉又适合语言的架构，意味着存在一种共享的底层机制。他说，这对人工网络是一个提示：不要假定每一项任务都需要一套专门定制的设计。

Poggio 用“组合性”（compositionality）来指代一个技术问题：多层网络在什么时候比线性分类器或核方法等经典单层模型更强大？如果从输入到输出的映射（例如从图像到标签）具有某种特定结构，深度网络就能以远为高效的方式逼近它。这种结构就是函数的函数。你不必一次看所有像素。先从小块像素组中计算出一些东西，再对这些输出进行计算，如此层层递进。阅读一句话也是如此：音节组成词，词组成句子，而不是先看第一个字母再加上最后一个字母。

MIT 的物理学家 Max Tegmark 认为，这种结构来自物理学：相互作用是局部的，原子与原子、行星与行星之间相互作用。Poggio 同意这是真相的一部分，然后把因果箭头翻转过来。也许我们的大脑之所以被连接成深度网络，是因为它们能够解决组合性问题，而无法解决那些非组合性的问题。我们之所以在组合性任务上测试算法，是因为我们本身就是这种机器。

还有一个更偏生物学的故事。局部连接（简单细胞观察一个小斑块，然后另一些细胞再观察其中少量的这些细胞）之所以存在，可能是因为长距离布线的生长成本高昂，数量也有限。于是生物学便构建出某种类似深度卷积网络的东西。对于那些恰好与生存相关的一类问题，它非常有效。你甚至可以基于这些能力创办一家成功的企业。像 Mobileye 所看待的那样，驾驶是一个组合性问题。

从架构上看，皮层像一个深度网络：局部连接，层级结构。随机梯度下降，即真正拟合权重的那个简单算法，则是另一码事。根据我们对皮层、神经元和突触的了解，Poggio 认为生物体大概率并没有在做梯度下降。其他优化算法几乎肯定存在；尽管人们正在尝试，但目前还没有人找到真正的替代方案。

为什么这种算法在工程中效果这么好，如今已不像过去那样神秘。经典统计学说，你至少需要数据点数量为参数数量的两倍，最好是十倍。如今的网络，参数量可能是数据量的十倍甚至一百倍，与旧规则正好相反。这一直是个谜：在如此大的自由度之下，任何东西怎么可能泛化。

过参数化的一个副作用是：当你最小化损失函数时，要找的并非一根罕见的针。Poggio 用贝祖定理（一个古老的代数结果，用于估计一个多项式方程组可能有多少个解）计算出：一个典型的深度网络，其极小值比宇宙中的原子还多。这就像未知数多于方程的线性方程组：有无穷多个解，而任务是挑出其中一个。找到一个解，与找到一个能够泛化的解，是两个不同的问题。过参数化至少让第一步变得容易。

他从未对通用逼近定理（一个隐藏层就可以逼近任意连续函数）感到惊讶，因为它本质上就是魏尔斯特拉斯关于多项式的定理，这在他 1980 年代进入该领域时就已广为人知。有趣的问题是你需要多少单元。要达到 10% 的误差，所需单元数按 10 的变量数次方增长。一张 200×200 的图像大约有 40,000 个维度（像素）：也就是需要约 10^40000 个单元，数量级远超宇宙所能容纳的数量。这就是维数灾难。Poggio 及其同事证明的是：一个具有局部卷积连接的深层层级架构，面对一个本身就具有这种层级结构的函数时，可以完全避开这一诅咒。

Fridman 问起生成对抗网络（GAN）和无监督学习。Poggio 对这个领域的很多热潮，比较冷静。GAN 是一种估计概率密度的较新方式，这很有趣。但他怀疑它们会在智能中扮演重要角色。他推测，许多热情来自于生成图像逼真带来的震撼。好看的图片，并不等于减少了对标签的需求。

多年前，他训练过一个网络，从图像映射到姿态和表情参数，然后把同一个数据集反过来用：输入数字，输出图像。生成的人脸看起来相当逼真，所用机制比 GAN 简单得多，质量却相近。在计算机图形学中，GAN 可能有用。但若是为了减少带标签的样本，他认为人们希望得到的，比投入的要多。天下没有免费的午餐。

那么，我们要如何阻止监督学习向无限多标签的方向推进？Fridman 建议，我们要成为更好的老师，挑选给模型看的样本。Poggio 喜欢这个类比。对计算机科学史做个漫画式的概括：最初程序员很贵，后来标注员很便宜，而未来应该更像儿童的学校。生物学版本的课程，是弱先验。大多数生物，包括人类婴儿，似乎都自带运动检测能力，这一能力从果蝇一直保留到更高等的动物，是进化很早就找到的东西。这就是为什么新生儿会盯着移动的东西看。运动还能切分对象：一个运动的物体，或者一只眼睛相对于变动的背景追踪它，会把清晰的图形从杂乱中切出来，成为理想的训练样本。经过几周这样的训练，这个物体就被印记下来，即使没有运动，也仍然能被识别。

Poggio 说，识别和定位物体，与真正理解场景之间的差距非常大。现有的算法确实有用。他认为，我们正处于低层视觉和低层语音的黄金时代，Alexa 就是一个例子，还有大量类似的工作有待完成，包括医学诊断。而理解场景、语言、动作和人，则是另一回事。尽管外界有种种宣称，我们仍然还差那么一点。

谈到生存风险，也就是 Fridman 与之交流过的人所持的担忧，包括 Stuart Russell、马斯克和 Nick Bostrom，Poggio 并不反对担心。早担心总比晚担心好。就他个人而言，他认为真正需要警惕的理由还要很久才会出现，而且他觉得有些说法具有误导性。他说，“AI 比核武器更危险”这种说法其实是错误的。就优先级而言，我们仍然应该更担心核武器。

Bostrom 与一个较长的时间跨度相关联；Poggio 指出，也有人说是二十年。预测未来已经足够困难，所以他不愿给出具体数字。他自认更接近 Rodney Brooks：更保守，时间更远。如果一个 AGI 系统就坐在这个房间里，我们会理解它的设计吗？大概不会，这还要看“理解”指的是什么。

Poggio 说，我们并不理解深度网络中每个单元在做什么，尽管理论已经开始描述其计算、局限和性质。这接近于一个文明理解聚变弹的方式：有些人知道基本原理，有些人了解细节，而作为一个群体，我们能够再造一个。在那种公民意义上，“理解”意味着我们能不能把它重新做出来。

四十一年前，他与 David Marr 写过一篇关于理解层次的论文，内容包括硬件和算法，精神上类似于晶体管与 PowerPoint 的区别。此后他又加入了一个层次：学习。你可以理解如何构建一台学习机器，却仍然无法详细描述它将会发现什么。孩子会迷上某种音乐，而你并不知道他为什么偏爱它；但你依然理解学习的过程。他认为，这已经是一种强有力的理解方式。

他认为，伦理很可能是可以学习的。他区分了神经外科伦理（神经外科医生应该如何行事）与伦理的神经科学，后者才是他感兴趣的。有证据表明，某些特定的大脑区域参与伦理判断。你可以用磁场刺激这些区域，改变其决策。这是他的同事 Rebecca Saxe 等人的工作。这还处于早期，但如果伦理有其神经实现，它就是一个可以学习的问题，因此也就可以被设计进机器里。

意识之所以难，部分原因在于它难以定义。神经科学家和哲学家争论它是否需要血肉之躯，硅基能否产生意识，或者是否一切事物都具有某种程度的意识（这与 Giulio Tononi 相关的观点）。Poggio 指出，Christof Koch 是他的第一位研究生。大多数 AI 领域的人会说，设计一个智能系统并不严格需要意识：通过了图灵测试，你就完成了。

Poggio 不同意这种工程师式的耸肩。在扩展的图灵测试中，他认为意识是我们在称对方为智能之前、隐含要求的一部分。Koch 不同意。关于死亡，乔布斯在斯坦福大学毕业典礼演讲中主张，有限的生命会激发人去成就事业。理性上说，Poggio 不认为意识严格依赖于死亡，不过在生物系统中，两者似乎总是同时出现。谁知道呢？

他不知道下一个突破会是什么。它很可能仍会受到神经科学的启发。令他兴奋的登月计划，是他自己主持的 CBMM，该中心受美国国家科学基金会（NSF）资助，目标是视觉智能：环顾四周，理解正在发生的事情，从此处安全抵达彼处而不撞上障碍，并察觉其他行动者。这已经很接近有意识，但还不完全是。

谷歌 X 的一项实验把这一点表现得很直观。受试者坐在一把椅子上，戴着头戴设备和耳机，通过附近一台机器人的摄像头和麦克风看和听。他们挥之不去的印象是：自己就在机器人所在的位置。他们可以回头看自己的身体，却仍然感觉自我已经移动了。Poggio 说，理解的某个方面，就是能够定位自己的能力，也就是对自己在世界中所处位置的自我觉察。