可靠性是瓶颈，自主性才会让 AI 显得有生命

主持人 Sarah Guo 和 Elad Gil 开场先提醒一件到 2023 年底仍让人吃惊的事：一年前，OpenAI 只有大约一百人。此后 ChatGPT 抢走了大众的注意力。今天请来的是实验室联合创始人兼首席科学家 Ilya Sutskever，他要谈的是模型的局限、AGI 和超级对齐。两人从 Sutskever 自己信念的起点说起，那是在 AlexNet 之前，深度学习里几乎没有什么真正奏效的东西的年代。

Sutskever 把那段时期称为黑暗时代。没有成功案例可以拿来指点，这个领域分裂成几派：老派的知识表示、贝叶斯非参数方法、图模型，以及神经网络。最后一派因为无法为网络证明数学定理而被边缘化。“如果你无法证明关于某个东西的定理，就说明你的研究不够好。”他还是倾向于神经网络。它们让他觉得像一个个小脑子。他当时想，只要训练的是可能有朝一日做成点什么的小脑子，谁还在乎定理呢。

照他的说法，AlexNet 是三件事同时落地的结果。GPU 刚刚作为人们想上手玩的玩具进入机器学习领域，而它又格外适合训练神经网络。他当时已经形成一个在当时属于少数派的看法：那时的网络之所以失败，是因为太小了。在高分辨率图像上只有一千个神经元，无论学习规则多聪明都做不了太多事；大脑之所以能很快看清东西，是因为它是一个大网络，而每个神经元可用的时间很短。第三件事是经验。梯度下降早已有之，认为这种网络训练不起来的看法，更是由来已久。合作者 Alex Krizhevsky 很喜欢 GPU，是最早为它写出真正高效代码的人之一，他把两块卡榨到极致，做出了前所未有的结果。规模目标本身没有什么魔力数字，就是尽可能大，大到现有算力允许的程度。

他说，这种直觉的成立前提是：人工神经元与生物神经元并无本质差异。动物的大脑能做什么，规模相当的网络只要训练得当，也许同样能做。他把训练过程比作解一组“神经方程”：每个数据点相当于一条方程，每个参数相当于一个变量，梯度下降充当求解器，而数据集的规模必须足够大，才能把庞大的网络限定住。那时候，即便多数研究者想训练这样的系统，也未必做得出来。关键在于每个环节都要做对。

问到 OpenAI 的宗旨是怎么演变的，Sutskever 没有绕弯子。“目标并没有随时间演变，变的是策略。”从第一天起，目标就是确保 AGI 造福全人类，这里的 AGI 指能完成人类大多数工作、活动和任务的自主系统。最初的计划是大量开源技术，并以非营利组织的形式运作。这种结构与使命的匹配，在当时看来再明显不过。

变化的是算力。他说，OpenAI 是最早意识到真正的进展需要大量算力的团队之一，而且这种胃口如今看起来没有尽头。非营利组织建不起大型集群，于是有了这种古怪的利润上限公司。据他所知，全世界仅此一家：投资人可以投钱，但即便公司经营得极好，他们最多只能拿到原始投资的某个倍数。如果通用人工智能能完成人类的每一项工作，它可能让所有人失业。他并不确定会这样，只是说这种可能性并非不存在。照这个逻辑，造出这种东西的公司，不该被激励去追求无限利润。他还指出了一处薄弱环节：会有多家 AI 公司相互竞争，这会对上述论证产生难以预料的影响。

研究议程的变化也是同一个方向。第一年做的是常规机器学习，他现在称之为 2016 和 2017 年的石器时代：学术化的、论文规模的发现，以及科学界的认可。他在 AI 领域的二十年里，有一半多都待在这个框架里。第一个大项目尝试的是 Dota 2，由 Jakub Pachocki 和 Greg Brockman 推动，目标是训练一个能与最强人类选手比肩的网络。它做成了，但那是错误的路子：网络太小，游戏又太窄。第二个认识是逐步形成的，经历了生成模型、预测下一个词和压缩。Transformer 论文发表后，团队立即转向，做出了 GPT-1，看到了生机，接着是 GPT-2，然后是 GPT-3。他说，GPT-3 让其他人都睁开了眼睛。整个行业随后收敛到同一个公式：用更多数据训练更大的 Transformer。

Gil 自己是在 GPT-2 到 GPT-3 的跨越中醒悟的。被问到最令人惊讶的涌现行为时，Sutskever 说他离得太近，选不出某一项能力。如果非要选一个让他惊讶的，那就是整件事居然真的能行。他曾经生活在神经网络不起作用的世界里，如今它们能做出令人惊叹的事。一个更个人的回答是：他与模型对话时，会感到自己被理解。Gil 引用了 Clarke 那句关于高级技术与魔法的名言，Sutskever 说，他完全同意这种看法。在团队内部，大的押注会把他们并非 100% 确定的自上而下的想法，与自下而上的探索结合在一起。规模扩大会持续改进现有的配方，但不同的想法提升幅度不同，所以他们想放大的是最好的那个方向，而不只是把规模做大。

随着规模扩大，什么提升最明显？他举的是公开的模型。比较 GPT-3、GPT-3.5、ChatGPT、GPT-4，再到带视觉能力的 GPT-4，最明显的变化是可靠性。过去只有一部分做到了可靠，现在大部分做到了，但仍有缺口。它们将能完成更多任务，对“人类世界的真实本质”也会有更深的洞察。他说，这种洞察还会不断加深。

Guo 把产品上的矛盾摆了出来：超大模型令人惊艳，但推理昂贵；团队会微调较小的模型，又担心自己放弃了推理能力。Sutskever 的回答是这期节目里最容易被转述的一句话。换成小模型，最主要损失的是可靠性。到了今天，可靠性是这些模型真正有用的最大瓶颈。他给出了可操作的定义。如果一个问题并不比模型已经答对的那些更难，你应当对它继续答对有很高的把握。你问了二十个好问题，关于某段历史事件，却不希望第二十一个回答里出现严重错误。你上传了财务文件，想要能据以行动的分析，但因为模型不是每次都成功，你就无法在任何一次上信任它。他拿自动驾驶打比方：大体上好，还不够好。模型的情况没那么极端，但道理是一样的。

他同意，应用开发者应该使用能满足需求的最小模型，这一点不言自明。更大、更好的模型仍会解锁前所未有的高价值工作。他举的例子是真正值得信任的法律建议：价值极高，也许只有大得多的模型才能提供，而这种价值足以支撑所需的算力。7B、13B 和 34B 规模上的研究并非白费。中期来看会形成一个生态。很多人会对最好的 7B 模型感到满意，但也有很多应用不会满意。并非每项任务都值得为大模型买单。

开源，他说，是个复杂的问题。近期的需求是真实的：很多人希望自己成为模型如何使用、支持哪些场景的最终决定者，而不是把这件事交给托管的闭源模型。不少公司会选择开放权重。长期来看，他没那么确定。今天的模型能力并不强，它们在大众中的影响主要是娱乐、简单问答、图片和聊天。这离完成一项庞大而复杂的任务还差得很远。

然后是他希望大家记住的那句话：“智能就是权力。”设想一个能自主创办一家大型科技公司、能做科学研究、或能推进大型科学项目的模型。开源这种能力级别的系统，后果难以预料。对当前模型而言直截了当的论证，到了这里就模糊得多。他说，弄清这条界线本身，就是一个紧迫的研究课题。

他的基本判断是存在时间差。闭源模型能力更强，因此可以先被研究。你和某一代模型共处一段时间，判定它的能力没什么大不了，大约两年之后，开源模型就会追上来。终有一天，闭源模型可能会开始显得“有点太激烈”，那时就需要别的办法。谈到近期规模化的极限，他说得很明确：最迫近的上限是数据，这一点人所共知，需要一些研究。他没有展开细节，只说数据的限制是可以被克服的，进展会继续。

Gil 提出了标准的反对意见：人脑有负责视觉、语言、共情、性格的专门区域，单个 Transformer 能否涵盖 AGI 所需的一切？Sutskever 把回答分成两层。第一，不要再问某种架构“够不够”，应当问它的代价是多少。没有人怀疑 Transformer 能做出惊人的事；某种改动也许能换来算力效率。不同的想法随规模扩大提升的幅度也不同，所以应当扩大最好的那一个。

第二，大脑的专门化程度，比图上标注的那些命名区域所暗示的要低。一些患有严重癫痫的幼儿被切除了半个大脑；因为手术做得很早，他们长大后大体上是功能正常的成年人，原本那些区域不知怎么地都挤进了一个半球。大概会损失一些效率，区域会重新安排。大约三四十年前有一项残忍的雪貂实验，把视神经接到了听觉皮层上。经过几天的学习，记录发现那块听觉组织中的神经元，看起来很像视觉皮层的神经元。他说，人和动物的皮层结构极其统一。

这就够了：只需要一个庞大而统一的架构。Gil 指出，生物学总体上很“偷懒”，一直在重复使用同样的二十种氨基酸和同样的组织层面的花招。Sutskever 则把这些类比读作技术上的绿灯：人工神经元与生物神经元，统一的大脑与统一的网络。“从技术角度看，我们非常走在正确的轨道上。”

什么时候我们该开始称这些系统为数字生命？Sutskever 的答案是自主性，这也正是它们目前还不太有用的原因。你没法让它替你做作业或报税，然后自己走开。随着可靠性提高，有用性也随之提高，它们会越来越像人造生命，那时候，忧虑也该随之上升。Gil 反驳说，生物的生命通常以繁殖来定义。Sutskever 说，定义是为了方便我们。技术本来就在繁殖：看看二十五年来手机的演化，或是一个世纪的汽车，还有在人脑里流转的、被复制的思想之树。繁殖已经存在，自主性却还没有。他说，一个能自主繁殖、能力又极强的 AI，相当戏剧性，也相当吓人。

超级对齐，他说，取决于你认为 AI 会走向何方。进展一直惊人；即便放缓一点，五年，更不用说十年，都会是另一个世界。设想数据中心里的智能远超人类，似乎并非不可能，而这里的“更聪明”指的是对同一问题有更深的洞察、学习得更快，而不只是记忆更多。如果真的造出了这种超级智能、甚至可能是有生命的机器，他能清楚表述的最低要求是：它们对人类怀有温暖和善意。友谊可有可无，亲社会性却不可或缺。这个项目是现在就开始做科学研究：如何控制这类系统，如何在它们身上植入强烈的、想要友善待人的愿望，同时要考虑到它们会有很多个，而世界会非常复杂。

他并不认为成功是板上钉钉的。他认为有可能成功，而且随着人们感受到逐年的跃迁，对爱人类的超级智能的需求会越来越大：去年还很好用的模型相形见绌，接着出现了开始做科学研究的系统，然后是一个相当不错的软件工程师。目前很少有人研究这个科学问题；模型只是刚刚变得足够强大，能够富有成效地研究它。他卖了个关子，说很快会分享一些令人兴奋的研究。他的自检很简单：看看你自己的体验。它在慢下来吗？明年会慢下来吗？需要做的事情会越来越清楚。

我们是否正处于加速阶段？是的，两个踏板同时在用力。成本、规模、有限的数据，以及庞大工程项目的管理复杂性，推着它慢下来。投资、工程师与科学家的兴趣、生物进化作为存在证明，以及一种异常“包容”的研究文化，推着它快起来。在他看来，量子物理要先读好几年研究生，才能做出贡献；AI 则让人能进来、快速跟上，并很快做出点东西。对聪明的新来者如此友好，本身也是一股加速的力量。也许工程的复杂性会压低速度，也许推动的力量会让它再保持这样的速度几年。如果真会慢下来的话。