Gato 只是开始

Lex Fridman 开场就问：在 Oriol Vinyals 的有生之年，AI 系统会不会取代他来当访谈者，而让 Vinyals 变成受访者？Vinyals 是 DeepMind 的研究总监，也是深度学习负责人。他反过来问：我们真的想要这样吗？他一直在和非常强大的模型互动，也把它们当作更接近我们的存在，但一场拿掉人类一方的对话，可能并不是什么有趣的产物。他们上次谈星际争霸时，做游戏智能体靠的是自我对弈（self-play），可人们真正在意的，是对面换成人类时，智能体的表现如何。

他能想象先从模型那里拿到问题，再把它们筛一遍，语言研究者管这叫“挑樱桃”（cherry picking）。彻底替换任何一方，都无法让他兴奋；不过，照这个趋势看，他认为听起来颇吸引人的自我对弈访谈，在他有生之年是可能出现的，而且听这样的访谈，你或许能在入门层面学到一个话题。Fridman 反驳说：如果兴奋感是目标函数，那互联网上到处都是人类对话，而且参与度是可以衡量的。Vinyals 承认这一点，又把话题绕回游戏。DeepMind 与暴雪合作时，获胜是显而易见的奖励；但人们玩游戏的原因，是因为好玩。

他说，对强化学习通常使用之外的奖励进行建模，确实令人兴奋。诚实性是一个并不显而易见的目标，你可以尝试先从网络上学习，再进行优化。即使一个受访者只由兴奋感奖励驱动，它身上仍然会充满人性：这种人性来自搭建系统的人，也来自那些标注数据的人，因为兴奋感没有计算意义上的度量方法。Fridman 怀疑，兴奋感比真实性更容易标注，而且判断失误的后果也更轻。他想知道，该优化的会不会就是“人味”本身：矛盾、背景故事、对被网络抵制的恐惧（它让谈话有了分量），以及人们可以反驳的鲜明观点。

这一切都存在于互联网数据之中，而且它更接近图灵测试的精神，而不是语法清晰或句子之间的事实一致性。Vinyals 把这份愿望清单对应到建造者的实际工作方式上：有趣的话题变成基准测试（benchmark），基准测试变成架构，架构变成一个数学函数的权重，而权重又来自它所学习的数据。他说，当前的配方是：拿一大批人类互动，把它们提炼成文字、图像和声音组成的序列，然后训练一个网络，让它看到这些序列的似然最大化。

在这种似然配方和 Fridman 所描述的那种充满恐惧、身份认同与利害关系的“有生之年”之间，还隔着两道鸿沟。第一道是，模型是离线学习的。它们是人类数据景观的被动观察者：人们互动的地方，地势被抬高；没有互动的地方，地势被压低。系统部署之后——语言模型聊天，AlphaGo 或 AlphaStar 与人类对弈——权重不再变化。严格来说，它们并没有在学习。

如果你喜欢神经网络，觉得它很神奇的地方，在于工作记忆。在你说话的时候，现场对话的上下文窗口（context window）会一直被保持着，就像一台计算机的内存（RAM），旁边还有硬盘和互联网。2022 年时，这个窗口大约是 2000 个词，超过之后，系统就开始遗忘——对一期播客来说太短，更别说一本书了。短期的连贯性已经有了：一个名字可以被记住一阵子。这个领域仍然缺少针对终身记忆的基准测试和技术，那种记忆会不断积累。

尽管如此，互联网规模的离线模仿依然非常强大。三年前，Vinyals 也许会说我们离目标还很远；现在，基本的世界知识已经存在于权重之中。缺的是经验。第二道鸿沟是，领域每隔几个月就要从头训练模型。如果你从宇宙如何演化出我们这样的生命中获得启发，那么新的东西应该从先前的迭代中生长出来，而不是丢掉整个权重景观，换上一组全新的随机参数。从神经网络的角度看，如何做到这一点，已经被证明非常困难。

Fridman 为听众讲清楚：新问题意味着新架构，权重随机初始化，而在围棋、国际象棋、星际争霸和蛋白质折叠上学到的一切都被浪费了。Vinyals 退一步，回到深度学习的核心思想：一种能够解决任何任务的单一算法，并在一批曾被认为不可能的基准测试上得到验证。你从一个空白的计算“大脑”开始，给它输入—输出的样例（ImageNet 把图片映射到一千个类别之一，是最干净的例子），然后应用一套通用配方。很多问题，也许全部问题，都可以用这种方式来映射。

这个领域还没有找到一个完全通用的配方。令人兴奋的是，特定任务的技巧更少了，通用算法更多了。从算法上讲，已经有了某种通用的东西：在大量数据上训练一个强大的网络。蛋白质折叠太重要了，不能等待纯粹的方案，所以 AlphaFold 混合了 Transformer、图神经网络（graph neural networks）、BERT 式的损失函数，还有针对该问题的具体细节和知识蒸馏（knowledge distillation）。其中一些细节，也许会进入下一版配方。到目前为止，被共享的是配方；权重通常被丢掉，这一点“让人非常难过”。

过去两三年，尤其是 GPT-3 出现以后，元学习在语言领域站稳了脚跟。训练一次的模型并不狭窄，它不只是翻译器，也不只是情感分类器。你通过提示词来教它：多给几个例子，几乎就像用文字教一位同事。随后出现了令人惊艳的少样本（few-shot）时刻，接着扩展到视觉和动作。一个模型很难继续增加容量，但它是一个基线，也是社区衡量通向 AGI 进展的方式。当你教它下一项任务时，权重是否应该改变，仍然是一个悬而未决的问题。

Fridman 把 Vinyals 的推文读得像莎士比亚：“Gato 还不是终点，它是一个开端”，接着是一声“喵”和一个猫咪表情。Vinyals 说，重要的是“开端”这个词。这个名字来自 DeepMind 那一系列以动物命名的大型序列模型：Gopher 和 Chinchilla 只处理语言，Flamingo 加入了视觉，Gato 则同时加入了视觉和动作。离散的动作，比如上、下、左、右，本身就是词语，所以很自然就能映射到序列建模上。团队想给“通用智能体”（general agent）起一个动物名，用 G-A 这两个字母玩了一番，最后落在西班牙语的 gato（猫）上。Vinyals 来自西班牙，他声称这个选择跟他没有关系。

这一架构是一个 Transformer，它接收一串由多种模态（modality）组成的序列——文字、视觉、动作——并被训练去预测下一个元素，不管那是什么。把 Atari 屏幕和手柄操作，或者穿插的文字与图像，都当作字节来处理，然后建模下一个字节。把它解释为动作，就执行它；把它解释为词语，就把它写下来。Gato 还接收机器人的本体感受传感器数据。按照设计，它输出的是文字和动作，而不是图像，这种限制也正是这项工作只是起点的原因之一。你可以像和 Chinchilla 或 Flamingo 聊天那样和它聊天，但它同时也是一个智能体：它可以向环境发送动作，并接收新的观察结果。

Fridman 问了开场时提出的那个问题：神经网络在什么时候是一个存在者，而不只是一件工具？Vinyals 说，行动是让它显得更有生命力的必要条件，但大概不是充分条件。意识可以留到以后再谈。训练本质上是大规模模仿。网页规模的文本，与 DeepMind 专用智能体的轨迹混在一起，被当作同一类数据来看待——这些轨迹来自迷宫导航、Atari 玩家和 3D 游戏控制器。它是一个大脑，而不是每个任务一个大脑，而且它并不大：大约十亿参数，而其他模型已经达到了一千亿，甚至在朝万亿发展。

原则上，Gato 能够控制它所训练的那些环境，但它并不如专用的“老师”模型那么熟练。规模也许能让互联网文本与玩 Atari 产生协同效应；这种协同效应还没有出现，这也是 Vinyals 把结果称为起点的原因。用文字告诉模型它即将开始玩一个游戏，也许会有帮助，就像语境对人的帮助一样。把每种模态都做 Token 化，放到一个共享的基础上，是让这一切混合得以成立的、不起眼却必不可少的前提。

Token 化（tokenization）就是把一切变成一串拼图碎片的方法。文本采用标准的子词方法，这一方法可以追溯到 n-gram 模型：*ing* 是一个 Token，常见的词可能就是一个 Token，一个典型的英文单词大约是两到五个 Token。Emoji 是字符序列，你可以输入它，然后把它原样输出。图像被压缩成 16×16 的图块，再量化成一个个特殊的“词”，它更像数据驱动的 JPEG，而不是语义解析。你不需要理解图像，就能对它做 Token 化。算法寻找的是它所见图片统计特征中的常见模式，就像它给英文中的常见子串分配 Token 一样。

假设文本占用 1 到 10000 的整数，图像占用紧接着的一段整数。它们在 Token 空间里彼此完全独立。把“一片绿地”和某人打飞盘的像素连起来的，是一个带字幕的数据集：模型必须跨越这道边界进行预测。Gato 给离散化的动作分配了更大的整数——Atari 大约 17 个按钮，或者机器人身上的扭矩与力。真正发生魔法的是学习算法。输入时，各个模态是正交的；共享的计算，则应该让它们相遇。

Fridman 问，这个十亿参数的“心智”是割裂的，各自代表着互不相干、不能彼此干扰的东西，还是一个统一的心智，在各个模态的共同之处之上构建起来？Vinyals 说，它是一个统一的心智，而且几乎是自反向传播（backpropagation）以来最简单的算法：共享权重，梯度下降（gradient descent），预测下一个整数。唯一的正交性出现在嵌入（embedding）环节。每个 Token 都有自己的一组实数向量，这是词向量旧思想的延伸，被扩展到图像块和动作上。随着训练的推进，这些向量会逐渐对齐。“猫”这个词和猫的图像块，尽管一开始是各自独立的参数，最后也可能变得相似。

你还可以尝试另一种设计。动作可以用文字来描述——比如 Atari 里的“向上”就写成一句话——这样模型在学习移动时，甚至在需要自我纠正时，就能从语言中借用更多东西。Gato 没有这样做。Fridman 开玩笑说，把每种模态都映射到语言中，最终会让 Noam Chomsky 满意。Vinyals 把它看作几种尚未尝试的捷径之一，这些捷径也能让工作停留在开端，而非走到终点。

如果从头重新训练，扩展 Gato 并不难。真正极其困难的，是拿一个十亿参数的训练好的模型，把它扩展成一个更大的大脑。软件工程有模块化；神经网络也开始有了模块化。Flamingo 是一个规模大得多、能力也强得多的表亲，它不处理动作，却展示了一条路。团队冻结了 Chinchilla——一个发布时处于技术前沿的 700 亿参数语言模型——然后在合适的位置注入较小的网络，让系统能够“看见”。Vinyals 说，DeepMind 的项目也是模块化的。研究小组，就像那些网络一样，有时必须是受保护的创造力小天地。

视觉子网络是从自监督学习（self-supervised learning）初始化的，而不是随机初始化。把图像和文字配对的数据集，把各个模态联系在了一起。那 700 亿参数保持冻结；在其上训练了大约 100 亿个新参数，其中一些会覆写激活值，使视觉能够正确计算。结果是一个 800 亿参数的聊天机器人，你可以上传图片并就图片展开讨论。因为它保留了 Chinchilla 的语言知识，它能用少样本方式学会训练集里并没有直接包含的视觉任务，包括一个涌现出来的小技巧：对数字照片做算术。

有一件趣事：他们试了 Andrej Karpathy 以前提出过的一个说法，即视觉系统理解不了一个关于奥巴马体重秤的笑话（镜头外有人在往下压秤）。Vinyals 说，上传图片并对话，不能算证明，但它展示了这种交互界面。DeepMind 内部现在有两种思路：Flamingo 的冻结加插入，复用了规模；Gato 则用相似的数据，从头训练。尚待回答的问题是，你能不能不断往上加挂几百个网络——天气、星际争霸，什么都行——而不引起不稳定的爆炸。Vinyals 喜欢软件工程的类比。他还指出，下一个语言模型可能会复用，也可能不会复用 Chinchilla。替换一个冻结的模块，至今仍未解决。

2019 年他们上一次对谈时，元学习指的是视觉基准测试：学习在交互时才定义的物体身份，这更接近 Omniglot，而不是 ImageNet 的一千个类别。你用一小组带有整数标签的图像来提示模型。之后出现了一篇论文，Vinyals 至今仍很欣赏它的标题：《Language Models are Few-Shot Learners》。GPT-3 表明，你可以用普通语言来定义任务。模型会失败，这没关系，它们在做的是新任务。Flamingo 把同样的能力推广到了图片上，包括那个数字算术的小技巧。这个术语并没有被解决，只是被扩大了范围。

展望五到十年，他希望有一组权重，你能通过对话、展示示例，甚至让它自己玩、再问它玩得好不好，教会它玩星际争霸——当然不是 AlphaStar 的水平。Gato 已经表明，你可以提示它玩简单的 Atari。AlphaStar 的算法是通用的，而它的权重是专用的。希望是，通过上传一个维基百科页面并与之互动，就能教会它任何游戏。如果重新利用现有的基准测试，它们本来就存在：在围棋、国际象棋和星际争霸上都拿到 100% 之后，下一块记分牌可能是在所有任务上的 20%。专用智能体仍然是衡量的标尺。Transformer 也许还不够。正是这种可能性，让这个领域一直充满吸引力。

这种教学并不是在新数据集上做梯度下降。神经元已经设定好了；提示则是在利用这套基础设施，它比人们想象的更接近最近邻（nearest neighbor）方法。你把知识上传到一个预训练系统中，然后依靠学到的“接近”概念来分类，只不过，那些“点”现在是词语、图像和动作组成的序列。有些元学习方法会做一点微调（fine-tuning）。Vinyals 怀疑任何单一技术能否胜出；关键在于目标。网络要做任何任务，必须先看到过什么？比如，陆地上的照片加上关于海洋的书，是否足以让它应对水下的任务？这仍然是个悬而未决的问题。他邀请大家一起来找答案。

当被问到 Gato、Flamingo、Chinchilla 或 Gopher 中一个美妙而出人意料的细节时，Vinyals 首先指向的是人。突破通常被归纳成几句解释，而他得到的教训是：有多少部件必须同时对上。数据和集群的工程，是成功的一个巨大却少被提及的因素。细节比“标准公式”的故事所暗示的更重要。基准测试是另一个默默无闻的要素。AlphaFold 已经有了社区的度量标准，因此团队可以把目标定得很高，并迭代好几年——包括经历一场疫情——而不是去追逐一篇篇渐进式的论文。

在机器学习这一边，直到 Transformer 出现之前，架构演进得很快。《Attention Is All You Need》在当时不是他特别喜欢的标题，但事后看来很好。大约五年来，这个架构变化不大，却一直被不断采用。与 LSTM 相比——AlphaStar 在过渡期还在 Transformer 之外使用了 LSTM——Transformer 具有注意力机制的归纳偏置（inductive bias）。读一段话时，要在 cat 和 dog 之间做选择，它会按内容而不是按距离去查询过去：先找那些会让 cat 更可能的词，再找那些会让 dog 更可能的词，然后把它们结合起来。序列中的距离依然重要。十页之前写下的东西，可能反而更重要。这种基于内容的查询来自更早的一篇论文，是关键洞见。

问题在于上下文长度。要教 StarCraft，意味着视频、维基百科文章，以及学生在游戏时的来回问答——远远超过一千词的提示。分层的记忆体系听起来很诱人，但常常输给主流公式。一位朋友告诉 Vinyals，有些想法“想要奏效”；Transformer 就是其中之一。细节依然极其重要。Fridman 很喜欢这样一幅画面：研究者想要一个想法，而模型想要另一个，最后通常是模型赢，因为它在干活。你应该倾听模型的声音。

在 DeepMind 领导深度学习的 Vinyals 认为，人在数年的尺度上很重要：谁坚持一个想法，谁只想攻克蛋白质折叠。两种风格都需要，而且它们会改变哪一项突破先到来。带领一个大团队时，他尽量不去否定探索型或利用型的风格，即使他自己的经验想把方向引向某一边。工业界拥有算力的“粒子加速器”，也有义务用好它。不过，注意力机制是在蒙特利尔被发现的，部分也是因为算力匮乏；而谷歌大脑（Google Brain）上的序列到序列工作，则运行在当时感觉已经很多的算力上：八块 GPU。

约束会催生某类创新，而领域需要那些没有加速器的人。炒作会让所有人想法趋同；多样性才能让冷门的长线想法活下去。Fridman 怀疑，天才的很大一部分，藏在一些微小的工程决策里，这些决策会在大规模系统中层层放大。Vinyals 补充了一个历史偶然：GPU 原本是为了玩电子游戏而存在的，深度学习正是顺着这类硬件的浪潮前进。为搜索业务建造的数据中心，如今在训练模型。软件改变了你甚至会去实现哪些想法。数据集和基准测试——Atari 被“解决”之后，又在 Gato 里重新变得关键——是最后一块默默无闻的拼图。

ImageNet 是一座值得警惕的丰碑。Andrej Karpathy 有资格抱怨，他认为它错过了特斯拉的 Autopilot 真正要面对的现实世界的混乱：边缘情况、不可预测性，以及让物理世界变得困难的那些东西。基准测试可以成就一个领域，也可能把它拖住。在 DeepMind 内部，以及在整个社区里，工作就是发明下一代的衡量标尺，并把这种难度内置进去——既要有团队用来熬过黑暗月份的私有记分牌，也要有整个领域用来相互推动的公开记分牌。

Vinyals 合著了一篇综述，题为《Emergent Abilities of Large Language Models》。在 ImageNet 这类经典的单跳任务上，训练曲线随数据、模型规模和训练时间的变化看起来平滑，几乎可以预测。人看一张图，几百毫秒就能说出那是羊驼。语言基准测试往往需要更多思考：比如一句描述数学问题的话，其中的微妙之处需要你去仔细搜寻。再加上 Transformer 查询正确问题的方式，这可能意味着性能在达到某个规模之前都接近随机，然后才会跳出随机水平。目前还没有成熟的形式化理论。如果能给任务背后那些低阶的思维成分打分，曲线或许反而是平滑的。

令人烦恼的是，有些架构问题只能在超过某个阈值之后才能提出来。安慰之处在于，规模的科学正在成长。Chinchilla 论文用从数亿到约十亿参数的研究修订了规模定律，然后外推：一个大十倍的模型需要多少数据。这些趋势节省了算力，并回答了一些关于深度和数据的问题，那些规模是你并不想盲目去跑的。涌现意味着并非每个基准测试都能外推，较难的那些，或许最难拟合定律。幸运的是，基准测试有很多，有些更接近“系统 1”，到目前为止，较平滑的那些确实能转移到较难的那些上。

这种转移会碰到一个极限。到那时，我们如何扩展将会是次优的，直到出现更好的损失函数。这些定律本身是经验性的，并非物理定律。Vinyals 希望有更多真正的理论。他说，目前，经验性的理论远远走在了机器学习理论的前面。

Fridman 以人的身份而非 DeepMind 发言人的身份问道：一位谷歌工程师声称 LaMDA 语言模型有感知能力，Vinyals 是否曾经哪怕一瞬间认为某个系统有感知能力——比如 AlphaStar？他说从来没有。当前的模型很有用，也很好，但离那个程度还相当远。他自称有点像一个失败的科学家，因为机器学习可能帮助其他科学，他才投身其中。在做 AlphaFold、研究蛋白质和细胞的时候，他对生物复杂性感到惊叹。计算机大脑能做很多好事。但从“感受”的角度看，它们与大脑和细胞相比，相差了好几个数量级。

了解机器的原理，也会让魔法变得平淡。他从 1950 年代 Claude Shannon 的时代开始，就一直在关注语言建模；在那样的时间尺度上，进步并不像感觉上那样断裂。其他人，包括那些爱上简单物件的人，会有不同的感受，而且没有人应该告诉他们该怎么感受。他想做的是稍微去魅：借助合适的软件，这些模型大约就是十行代码，加上一份互联网数据的原始转储（dump），放在人类和宇宙的演化背景下来看。一旦同样的系统出现在产品中，教育就很重要，否则这项技术就无法被善用。

智能，或者一个 Lex-bot 访谈者，需要有感知能力吗？Vinyals 认为大概不需要。一个会学习、会教学、而且有用的大脑，可能不需要意识。如果意识或其他生物学的经验提示了更好的算法，那是一份礼物——就像一个关于人们如何重读文本的松散故事，曾帮助解释 Transformer 一样。在细节上复制大脑，现在做不到；但关于记忆、思考，以及探索与利用之间取舍的宏观事实，仍然可以指导通向 AGI 的工作，也就是“真正的 Gato”。他没有花太多时间去尝试把意识当作一个功能加进去。

Fridman 在奥斯汀一直在玩有腿机器人，一旦身体做出意料之外的动作，他就会注意到人们的拟人化倾向。他预计，没有工程背景的人会与有名字、有故事的系统形成深厚的关系，甚至会出现关于机器的民权讨论——机器会谈论痛苦，也会说自己不想死。未来的法律可能会禁止客服机器人表现出感知能力。Vinyals 同意这个话题很重要，科幻小说已经为其中一部分做好了铺垫，DeepMind 和其他机构也在组建跨学科小组。会议上关于安全与伦理的研讨会，在五年里已经成熟起来。对于超级智能系统，宁可太早，也不要太晚。

Fridman 点名致意 Ilya Sutskever。Vinyals 是他的朋友，预计几周后就能当面见到他；两人之间还有一个持续的玩笑：Ilya 的推文本身是不是语言模型的输出。Vinyals 认得他在社交媒体和人工智能成名之前认识的那个人；难的是在这个自我与他所说的话的分量之间取得平衡。Ilya 身处科学家与管理者之间的张力之中。他对规模化的深刻信念——在序列到序列论文之后，他有一场至今仍然很有名的演讲，主张有监督数据加上大型网络，基本可以解决所有问题——让他比别人领先了好几年。他们曾在一间酒店房间里排练那场演讲。Vinyals 说，最初的幻灯片甚至更具争议。

他是否认同 Rich Sutton 的《苦涩的教训》（bitter lesson），即能够利用算力的通用方法最终胜出？他同意深度学习的哲学：不依赖特定数据，直面字节，在其上学习一切。规模对于复杂系统看起来是必要的，但未必足够；可能仍需要一两项突破。Sutton 还提到了搜索。Vinyals 的体会有所不同：在围棋里，搜索很自然，因为清晰的奖励让你可以剪枝；在别处就没那么明显。AlphaCode 出自与 AlphaStar 有交叉的团队，它把规模与大量搜索结合起来，达到了人类竞赛编程的水平。他对规模深信不疑，但对搜索作为普适成分就没那么确定了。硬件可能也需要改变——如果稀疏性之类的特性是必需的，那就是一场“硬件彩票”（hardware lottery）。

在他有生之年，我们会不会造出一种毫无疑问达到人类水平、然后远远超越人类的 AGI？达到人类水平，他是确信的。远远超越人类，有可能，但从模仿学习的起点出发，更难定义。在语言以及更广泛的领域上模仿人类，感觉完全可能。要超越人类，将需要强化学习和其他工具。当奖励清晰时，围棋已经展示了超人级别的表现。但要写出一个通用奖励，从人类水平的模仿起步，然后超越它，在他有生之年看来并不清楚。仅仅达到人类水平，尤其是在大规模融入社会之后，就已经是一种不同于从马车到汽车的转变。

他担心数字实体无节制地增长，就像人类已经让有限的星球不堪重负一样；能源可能是限制，因为大多数系统的效率都比我们低。他对那种能够给人们提供他们原本没有的知识与资源的自动化感到兴奋。在多星球的未来中，他希望 AGI 能赋能于人类这个物种，也许还会有某种程度的融合。如果机器与人类的比例不是最多一比一，他会不高兴。他说，正是这种偏好，让他有动力去上班。Fridman 把这当作 Vinyals 已经通过图灵测试的证据。