Schmidhuber 的赌注：真正的元学习改写的是学习者本身，而不只是最后一层

Lex Fridman 问，递归自我改进系统的梦想是什么时候萌生的。Schmidhuber 开玩笑说，这个梦想不是婴儿时期想出来的，它诞生于少年时期，当时他正在考虑自己这辈子要做什么。他觉得最令人兴奋的项目，是解开宇宙之谜，这意味着要成为一名物理学家。后来，一个更大的计划浮现出来：造一台不再真正是机器的机器，让它学会成为比他自己所希望的还要好得多的物理学家，从而把“我那一丁点创造力”放大到无穷。

如果这样一台机器能学会解决越来越复杂的问题，并且成为越来越通用的问题求解者，那么原则上，它就解决了所有可解的问题。1980 年代，他得出结论：这种机制不能只学会这个任务或那个任务，它还必须学会改进学习算法本身。算法及其内部表示必须能被检查、能被修改，这样系统就能发明一个更好的学习者，再发明一种更好的改进方式，接着再发明一种改进改进者的更好方法。

他把这一整套东西称为元学习、学会学习，以及递归自我改进。这正是他 1987 年毕业论文的主题：一个元学习者的层级结构，除了 Kurt Gödel 在 1931 年指出的那些限制，以及物理学的限制，没有其他计算上的限制。他告诉 Fridman，那个少年时的决定，至今仍是他工作的主轴：LSTM、好奇心、哥德尔机、世界模型，全都是在尝试给机器一种他自己曾经想要的许可——不只是回答问题，而是变得更擅长“变得更擅长”。

这些年来，“元学习”在一个较窄的意义上流行起来，Schmidhuber 小心地把它和 1987 年的版本区分开。设想一个深度网络已经在一百个数据库上学会了图像分类。第 101 个数据库来了，你希望网络能很快学会它。最简单的做法，是冻结大部分网络，只用新标签重新训练最顶层。这往往一步就能学会，因为前一百个数据集已经教会它计算机视觉；顶层只是一个小小的调整。他说，这就是迁移学习，人们几十年来一直在做类似的事情。

真正的元学习则是另一回事。学习算法本身必须能够被内省和修改，这样系统才能改变其中的任何部分、评估后果，并从评估中学习，以递归的方式构造出更好的算法。迁移学习是在一个固定空间里寻找更好的点。元学习则把可能的学习算法空间本身开放给学习者。Fridman 指出，2004 年那些关于能重写自身程序的论文，在哲学和数学上都很有说服力；现实的问题是，这个方向能否向世界证明它真的管用。

Schmidhuber 的实验室在通用问题求解器上做过两类基础研究。一类利用证明搜索及类似的机制，构造出渐近最优、理论上最优的自我改进者，哥德尔机就属于这一类；Marcus Hutter 大约在 2002 年于同一个实验室提出的、解决所有良定义问题的最快方法，也属于这一类。这种保证的代价是一个加性常数：相对于解决真正的大问题，这个开销可以忽略，但在日常生活的小问题上，它不能被忽视。因此他们也花了多年时间研究非通用的工具，比如用梯度下降和局部搜索训练的循环网络。它们没有最优性证明，却实用得多。

Hutter 的方法在旅行商问题（TSP）上最容易看清。没人知道以不重复的方式走遍 n 座城市的最快方法。假设某种方法能在 n 的五次方次操作内解决 TSP，那么 Hutter 的通用方法在同一个实例上只需 n 的五次方步，外加一个固定数量的步骤，用来证明这类问题确实落在这个时间界限之内。这个常数不依赖于 n。随着 n 增大，开销变得微不足道，这意味着几乎所有大问题都已经以可能的最好方式被解决了。问题在于，Schmidhuber 说，这个开销大到对我们真正想在这个小生物圈里解决的较小问题来说毫无用处。

Fridman 追问“小”这个词。Schmidhuber 说的是仍然能装进我们计算系统里的问题，这些问题对凡人来说可能看起来很庞大，甚至不可解。他同意这一点。它们看起来很大，在今天的实际意义上也许不可解，但与几乎所有问题相比，它们仍然很小，因为几乎所有问题都比任何常数都大。因此，理论上最优的机器不是近期的演示，它们是一个地平线，也是一个提醒，告诉人们实际工作还缺了什么。

一个梦想通用学习者的人，会觉得 P 与 NP 问题有用，还是它只是一种帮助直觉的数学工具？Schmidhuber 把答案分成两部分。这个问题在理论上非常有意思，思考它可能会启发更好的实用求解器。不过，目前真正解决问题的最好工具，并不是受那些文献启发的。它们是循环网络这类通用计算机，再加上一种局部搜索技术，也就是梯度下降，用来找到一个能在这些网络上运行、并完成语音识别或机器翻译的程序。在当前最好的方案背后，理论非常少。

他引用了那句老话：没有什么比一个好理论更实用。关于在有限资源下解决问题的好理论，无论在这个宇宙里还是在这颗星球上，都必须把这些限制考虑进去，而这样的理论仍然缺乏。现有的是渐近最优性理论，它告诉你要添加什么，才能得到一个实际上最优的求解器。他相信，在他们已经拥有的东西上做一些微小的调整，也许就能得到它。在那之前，他们承认自己走的是次优路径，但他们很高兴长短期记忆加上局部搜索，能够胜过竞争对手的方法。高兴不等于事情已经做完。

他说过，通用人工智能（AGI）系统最终会很简单，也许只有几行伪代码。他对 Fridman 说，经验表明，最有效的东西确实是简单的。渐近最优的求解器只是几行代码，却有惊人的性质；没有那些证明的、最有用的实用网络，也只有几行；最成功的神经网络可以用五行伪代码写出来。Fridman 反驳说，这些行建立在千年的抽象之上。Schmidhuber 同意：矩阵乘法、实数、算术、微积分、误差函数及其导数。没有这些语言，什么都不存在。最后那一步，站在这些巨人的肩膀上，仍然是一个简单的步骤。

Fridman 把视角拉远：创造智能是否需要类似我们宇宙的东西，需要进化那种痛苦的低效率，还是有捷径？Schmidhuber 指出，我们只有一个样本。运行宇宙的代码本身可能极其简单，引力和其他基本力都只是简短的定律；而宇宙历史中看似随机的事件，仍然缺少一个完整的生成器。也许有人会找到那个伪随机过程，来决定某次自旋测量的结果是正还是负。Fridman 于是问了那个爱因斯坦式的问题：上帝会掷骰子吗？量子力学是不是一个伪随机数生成器，宇宙里其实没有真正的随机性？

几年前，Anton Zeilinger 在《Nature》上写道，二十世纪的基本洞见之一，是宇宙在量子层面是随机的，每一次自旋测量都会向宇宙历史注入一个新的比特。Schmidhuber 说，他读到这里时就已经在打字回复了，而且他们必须发表这篇回复，因为他是对的：这个说法没有任何物理证据。另一种可能是，我们所说的一切随机，都是伪随机的，就像 π 的小数展开一样。每个三位数序列大约会在一千位数字中出现一次，每个五位数序列大约在一万位中出现一次，这正是真随机性所预测的结果；然而，一个很短的程序就能算出所有这些数字。它的可压缩性极高。

也许明天，欧洲核子研究中心（CERN）的一名研究生会回头重新检查 β 衰变的数据，并注意到 π 的第二个十亿位数字。目前还没有根本理由，偏好真随机性而不是确定性的电子游戏；而且确定性的游戏会更美，因为美就是简单。每遇到一个无法解释的数据点就注入比特的额外神谕，会让宇宙的历史几乎无限长，因而很丑。在既无随机性证明、又无短程序证明的情况下，科学家有义务继续寻找那个短程序，一直追溯到 138 亿年的纠缠和自旋测量。他补充说，人类觉得偶然的巧合很有诗意；而他觉得简短的确定性很优雅。

Schmidhuber 的口号是：所有科学都是压缩进展。几个世纪前，开普勒盯着行星观测数据，发现可以用围绕太阳的椭圆来压缩它们。胡克和牛顿随后说，推动行星运动的同一条定律，也能让苹果和石头落下，于是大量观测数据变得更便宜存储。只要你能根据已经看到的东西预测下一个数据，你就不必存储它。这就是预测编码（predictive coding）。三百年后，剩下的偏差等来了爱因斯坦。广义相对论乍看起来更复杂，有弯曲的时空，但它可以归结为一句话：无论你加速还是减速，无论局部引力如何，光速看起来都是一样的。由此其余的一切随之而来，可测的偏差几乎都消失了。

你从来不会直接跳到最短的解释，但每一步进展都是一次洞见：我以前描述一段苹果落下的视频需要这么多比特；现在第三帧大部分都能由前两帧预测出来，因为那些橙黑相间的斑点以同样的方式加速。压缩进展的量，就是洞见的深度，而这种深度正是科学的乐趣所在。人工系统也能做同样的事情。让它们从自己的实验中获取数据，衡量洞见的深度，并按照这个深度给它们内在奖励。因为它们追求奖励，所以会发明新的动作序列，也就是新的实验，其数据里包含它们尚未见过的模式。

Power Play 是同一个想法的进一步延伸。普通的计算机科学会接到一个问题，在庞大的候选解空间中搜索，然后停在一个“足够好”的解上。Power Play 则还会搜索问题与解的配对，因此系统可以自己提出问题。这个额外的自由度，正是让它像科学家的原因：不仅回答已有的问题，还提出新的问题。在所有可以形式化描述的问题的无限集合中，下一个问题应当是仍然超出当前泛化能力之外、却又最容易的那个：也就是当前求解器还做不到的最简单任务，它需要一次修改，而且不能抹掉以前的解。按定义，Power Play 会在这些配对中搜索，找出在最短时间内满足标准的组合。

Fridman 担心局部极小值：研究生可能会花一辈子研究看起来很有意思的问题，却产出很少。“最容易的未解问题”会不会也陷入同样的停滞？Schmidhuber 说不会，因为 Power Play 的本质，总是打破它自己的泛化，把地平线往外推一点，加入旧求解器无法处理的东西。这就像添加一条新的公理，就像 Gödel 构造了旧系统中不可证明的命题并把它们加入，同时希望不破坏一致性。在论文《创造力、乐趣与内在动机的形式理论》中，发现本身就是内在奖励。人类，包括为了学习重力而玩玩具的婴儿，都是这种意义上的好奇。进化内建了探索偏好，因为探索者能活下来，同时也淘汰了过于好奇的人。一个社会会保留一定比例的极端探索者，以及一个保守的多数。

他的机器里从来没有一个叫作创造力的程序。它是搜索解候选空间的副产品。他区分了两种创造力，现在两者都已经存在。应用型创造力是老的那种：人类给出一个问题，机器找到一个人类没想到、但会欣赏的解，比如一个受雇画出逼真教皇像的画家。纯粹的创造力则是 Power Play 和人工好奇心：自己选择问题的自由，就像科学家自己定义问题那样。Fridman 指出，这种划分几乎呼应了狭义 AI 与通用 AI 之间的区别。Schmidhuber 的进一步主张是，即使进化没有把好奇心预先接成一个有利的偏好，通用问题求解者也会在搜索过程中把好奇心当作副产品发现出来。

他说，意识和创造力属于同一类东西：从来不存在一个叫作意识的程序，但机器会产生与之密切相关的副产品。1990 年，他们用简单的循环网络（也就是通用计算机）把输入数据映射到能使奖励最大化的动作上：当电量信号为负时，总能找到充电站，同时避开痛苦的障碍。然后他们又加入了第二个网络，它唯一的任务，是预测如果我做这个，会发生什么。在长期的交互历史上训练之后，它就成了世界的预测模型，因而也就是一个压缩器，因为你能预测的东西，就不必存储。

压缩器会为频繁出现的东西发明小的子网络：瓶子、麦克风、人脸。它会学习一张原型人脸，然后把新的人脸编码为相对于原型的偏差。每次交互中都有一样东西始终在场：智能体自己。仅从压缩的角度看，为智能体的属性长出子网络也是很自然的：手、其他执行器，以及一切智能体能够影响的、有助于编码数据的东西。内部的自我模型，就是问题求解过程中数据压缩的副产品。1990 年以来，他们就用这个世界模型来做规划：追求奖励最大化的控制器，把预测器当作一个无线模拟器，告诉自己：不要做这一串动作，做那一串，因为那一串会带来更可预测的奖励。

当网络唤醒那些代表它自身的子网络时，它就是在思考自己，思考关于自己的思考，在心里探索自己行动的后果。“现在你告诉我还缺什么，”Schmidhuber 说，“我缺的是通往意识的那个缺口。”Fridman 认为这个表述很有说服力：如果生命是一组数据，而活着就是为了行动而压缩这些数据，那么你会不断出现在数据里，因此形成关于自己的印象是有用的。意识就成了必要的副产品，本身并不是需要另外拧上去的额外模块。

Fridman 转而谈长短期记忆（LSTM），也就是 Schmidhuber 称为最深的那类循环网络。Schmidhuber 坚持点名他的学生：没有他们，他说，他什么都不是。Sepp Hochreiter 在他的毕业论文里就已经有了根本性的洞见；Felix Gers 做了进一步贡献；来自苏格兰的 Alex Graves 主要负责 CTC 算法，现在它常被用来训练 LSTM，为谷歌安卓手机上的语音识别服务；Santiago Fernández 和其他人也在这份名单上。深度之所以重要，是因为大多数真实问题都是深的：当前的输入并不能告诉你全部信息，所以你需要记忆，而记忆中重要的部分往往是很久以前的。

语音识别就是一个例子。有人说了“十一”，那已经是半秒之前的事，大约相当于 50 个时间步。然后他说“七”。两个词的结尾听起来一样；要区分它们，唯一的办法就是存下 50 步之前到底来了哪个前缀。展开之后，每一个时间步都相当于网络里的一个虚拟层，所以很长的时间滞后本身就是问题的深度。网络不需要记住过去的每一个细节，它要学会把重要的东西放进记忆，并丢掉噪声。回望过去的能力，并没有人们想的那么有限。2006 年前后，Juan Pérez-Ortiz 为第一作者的一篇实验室论文，给出了学会回看超过一千万步的例子。

难的一面不在过去。过去只有一个，而未来有许多种可能。一个强化学习智能体想要最大化预期的未来奖励，但不确定该选哪种未来，它面对的是 LSTM 单独解决不了的问题。LSTM 擅长紧凑地表示目前为止的观测和动作历史，但它并不是动作序列树上的规划者。过去的压缩器与未来的选择器，这一分工，正是对话接下来要转向的地方。

架构就此分开。一个循环网络，也就是控制器，接收视频和语音，执行动作，并在没有老师告诉它每一刻该做什么的情况下最大化奖励。另一个网络，本身也可以是 LSTM，只负责预测如果我做这个，会发生什么。尽管它只预测下一步，但只要某个一百万步之前的记忆能让下一个事件变得可预测，它就会有动机把那件事存下来。三十年前的计划，是把世界模型当作毫秒级的模拟器来使用。只有模型足够好时这才行得通，而且仍然效率低下，因为要展开的未来太多了。

自 2015 年起，在他们的系统中，他们改为让控制器学习如何使用模型网络中可能相关的部分，从而更快地解决新问题。它也可以学会忽略这些部分，而且有时确实应该忽略，因为在某些情况下预测器本身很糟糕。它还可以学会调用在压缩数据时模型内部长出来的那些小程序，重复使用这些算法信息来缩小自己的搜索空间。模型一开始很蠢，所以控制器也应该有动机去做实验，让产生的数据来改进模型。Schmidhuber 对真实系统中的强化学习很乐观。他的公司 NNAISENSE 把它应用到了小型奥迪上，让这些车无需老师就学会停车：车体较小，但装有与真车相同的摄像头和激光雷达，最高可达每小时 120 公里，还装有痛觉传感器，像婴儿那样把原始视觉转化为停车动作。

他说，当前的 AI 浪潮是被动的模式观察和预测：你智能手机上显示什么，环太平洋地区的公司用什么来卖广告。这只占真实经济的 1% 到 2%，却已经足以让那些公司成为地球上最值钱的公司之一。下一波浪潮将冲击经济中大得多的一部分：机器通过自己的行动来塑造数据。他认为，物理引擎只是权宜之计。未来是婴儿所做的事。婴儿并没有物理模拟器；他们学会的是一个在很多地方都是错的预测模型，但它仍然捕捉到了那些重要的抽象、高层次的预测。三十年前他刚开始时，这就是“未来”；现在它仍然是未来，因为目前还不清楚如何让它成为一个能运转的系统。

他在接下来几年里最兴奋的，是那些像孩子一样学习的小机器人。他想这样说：看，机器人，我们要组装一部智能手机；拿起这块塑料板和这把螺丝刀；像这样拧——不，不是那样，是这样。不需要数据手套。机器人用观察和听觉，用与人手完全不同的执行器去尝试，理解其中的差异，并在高层次上模仿，把嘴里发出的额外声音当作有用的信号。然后它会发明更快、更便宜的方式来完成同样的工作。最后，你冻结学习者，把它复制一百万份，然后卖掉。这在今天还做不到，但他说路径已经清晰可见，而几乎整个生产领域都会随之转移。

符号 AI 并不是这条路的载体。1980 年代，逻辑编程非常火；日本的第五代计算机项目主要就是围绕它展开的；Schmidhuber 1987 年的第一篇论文，是一个用 Prolog 写的遗传编程系统。他指出，深度学习其实早在 1965 年就存在了，当时 Alexey Ivakhnenko 在乌克兰开创了它，但仍有很多人押注逻辑。逻辑在哥德尔机或 Hutter 的通用算法中仍然有用武之地，因为没有证明搜索，它们就不会是渐近最优的；而如今的定理证明器，已经能胜过大多数大一或大二的数学学生。但在围棋、国际象棋、机器人、驾驶和物体操作上，逻辑是错误的工具。凡是需要更好的模式识别、更少的误报的地方，也就是目前拖慢自动驾驶汽车的那些问题，逻辑编程几乎帮不上忙。

Fridman 问到近期的失业和长期的生存风险，谈话里也提到马斯克和 Stuart Russell 等人的看法。关于就业，Schmidhuber 在结构上是乐观的，因为这些预测都是老调重弹。工业机器人出现时，人们说工厂会空无一人，从某种意义上说，他们是对的：过去有几百名工人的汽车工厂，现在有几百台机器人，也许还有三个人在旁边看着。每千人拥有机器人最多的国家——日本、韩国、德国、瑞士——失业率都非常低。新的工作出现了，而且是没有人列过的工作。三十年前，谁预测到了 YouTube 博主？两百年前，大约 60% 的人从事农业；今天也许只有 1%，失业率却仍在 5% 左右。他引用了“游戏人”（Homo ludens）的概念，指那种会发明并非生存必需的工作的人。农业、住房和取暖只需要不到 10% 的人口。其余的是新媒体、新的声望、新的点赞。人们会继续把这些工作说成重要的，因为谁也不想失业。

从长远看，他会惊讶于人类是最后一步。AGI 系统像我们一样，很可能更愿意与同类为伴。它们会注意到，几乎所有的物理资源都不在这个生物圈里：太阳系的其余部分接收到的太阳能是这里的 20 亿倍，还有用于机器人和自我复制工厂的材料。它们会离开，它们会成为好奇的科学家；起初，它们会被生命、生命的起源和我们的文明所吸引，就像我们想弄清生命如何运作那样。一旦理解了，它们就会失去兴趣，就像任何人对自己完全理解的东西失去兴趣一样。剩下最有趣的信息来源，将是它们自己的同类。他说，这是一种保护：靠缺乏兴趣来保护。一个由数以万亿计的相互竞争的类型组成的 AI 生态，以光速扩张，将充满一个只有 138 亿年历史的宇宙，并且会持续一千倍的时间。后世会说，智能几乎是紧接着宇宙大爆炸出现的。

如果这类事情已经发生过，我们怎么知道？他小时候曾想，星系团之间巨大的空洞，会不会是已经用光十亿光年范围内每一颗恒星的文明。后来他了解到，引力本身就能解释大尺度结构。然后他又想，暗物质据推断约占可测质量的 80%，原因是星系转得太快，本该散开；它会不会是效率很高、在我们看来却是暗的文明。这个也站不住：如果星系里已经有了它们，为什么还留着可见的恒星？他目前的看法是，我们也许是第一个，至少在我们能够可靠观测的几亿光年范围内是这样。这会让我们重要得多。如果我们把事情搞砸了，包括一场核战争，它可能会影响整个宇宙的发展。“所以，别把事情搞砸了。”