智能越便宜，我们买得越多

Jacob Effron 把 David Luan 介绍为亚马逊 AGI 实验室的负责人。此前，他是 Adept 的联合创始人兼 CEO，这家公司融资超过 4 亿美元，用来打造 AI 智能体；他还在 OpenAI 经历标志性突破的一段时期担任工程副总裁。这一期 Unsupervised Learning 节目与其说是访谈，不如说是一次重聚。两人做了十多年的朋友，久到 Effron 还记得，当年 Luan 加入 OpenAI 时他就觉得这一步很有意思，事后看来，这也是他一贯的早人一步。

Luan 把脉络追溯到机器人学。真正的约束一直是底层算法有多聪明，所以他开始研究 AI，并在他这一生中看着整个技术栈开始真正运转起来。Effron 想谈的话题是有意为之的时事：DeepSeek 引发的反应，推理时算力（test-time compute）能走多远，要让智能体变得可靠需要什么，以及早期 OpenAI 的文化，它至今仍然影响着 Luan 招人和做事的方式。

Effron 问，在 DeepSeek 之后、英伟达股价暴跌，以及“这次发布对 OpenAI 和 Anthropic 不利”的说法之后，更广泛的舆论说对了什么、说错了什么。Luan 依然记得那个早上。他醒来时有五个未接来电，上一次手机是这个样子，还是硅谷银行倒闭、投资人纷纷打电话要把钱从硅谷银行和 First Republic 撤出来的时候。他以为出了什么大事，查看新闻后发现股市大跌，原因是 DeepSeek R1 发布了。他的第一反应是：大家其实没有看懂真正发生了什么。

他说，DeepSeek 的工作本身非常出色，团队文化和团队构成他可以谈上很久。它还嵌在一个更长的故事弧线里：先是领域弄清楚如何让新的机器学习系统变得更聪明，然后再弄清楚如何让它们更高效。DeepSeek 就是 o1 之后的 tock。大家都想错了需求曲线。仅仅因为你能以更低的价格生产更多智能，并不意味着你会停止消费它。如果说有什么不同，那就是你消费得更多。市场一旦醒悟过来，他说，我们就又回归理性了。

Effron 指出，基础版 DeepSeek 模型可以被诱导说自己是 ChatGPT，并问 OpenAI 和 Anthropic 是否还会如此公开地发布模型。Luan 不纠缠来源问题。他预测了产业的模式：人们想要尽可能聪明的模型，而这些模型未必推理效率高，因此实验室会用能拿到的全部算力训练巨大的教师模型，然后在内部把它们蒸馏成能为客户快速运行的版本。他把 AI 的用例想象成复杂度的同心圆。最里面一圈是与基础大语言模型的普通聊天，GPT-2 就已经能胜任。外圈是心算、编程、智能体、药物研发。他说，之前的每一圈都会变得便宜到几乎被商品化。

Effron 注意到编程和数学领域的推理时算力浪潮，并问这种范式能走多远。Luan 在 AGI 配方上留下了一条纸面记录，而且是在它还不流行的时候。甚至早在 2020 年，GPT-2 已经发布、GPT-3 正在酝酿的时候，当时的核心争论就是：下一 Token 预测是否足以解决整个 AGI。他的回答，以及他身边几位人士的回答，都是否定的。只被训练来预测下一个 Token 的模型，按定义，会因为发现训练集中没有的知识而受到惩罚。要发现新知识，你需要已经被证明能做到这一点的其他范式：强化学习和搜索。AlphaGo 是让这件事进入大众意识的时刻。

问题一直是：这个领域何时才能把大语言模型与强化学习结合起来，也就是那种既掌握人类已有知识、又能在其上继续构建的系统。按他的讲述，DeepMind 早期纯强化学习的路线之所以行不通，是因为那些模型是随机初始化的。一个对世界一无所知的东西，要花很长时间才能重新发现人类语言、协作，以及怎么报税。他说，结合这两种范式的模型如今表现如何，证明了这一哲学。至于医疗或法律这类不容易验证的领域，他有一个明确的看法：这些模型的泛化能力比你想的要好。那些试用 o1、注意到它有一段等待、就觉得它聊天能力稍差的人，看到的其实是“通往荣耀路上的小波动”。已经有迹象表明，在能明确检验的问题上变得更好，会迁移到同一领域中稍微模糊一些的问题上。

更深层的套利空间存在于同一组权重之中。模型判断自己做得好不好，比第一次就生成正确答案要容易。他说，所有这些强化学习都在利用这一差距：强迫模型一遍又一遍地尝试，直到它满足自己对质量的判断。Yann LeCun 反复提出的批评是，大语言模型难以进行原创性思考。Luan 的回应是，我们已经有反例了。AlphaGo 就是原创性思考。OpenAI 早期的研究用强化学习在 MiniClip 之类的网站上玩 Flash 游戏，智能体学会了速通技巧，比如在平台跳跃关卡里穿墙而过，那是人类从未做过的动作。没有人教过它们这些动作。

被问到要把这样的模型交付出去，究竟有哪些研究问题必须解决时，Luan 从组织开始谈起。如果你经营一家现代 AI 实验室，你的工作重心是建一座能稳定产出模型的工厂，而不在造某一个模型本身，这种定位会彻底改变你投资的方向。在具备可重复性之前，他并没有看到多少前进的势头。在他看来，过去几年是从炼金术走向工业化的历程，没有这个底座，其他一切都无从谈起。人们容易被算法吸引，因为它们听起来很酷、很性感。但从真正推动大量进展的因素来看，他总是回到工程上：能长期维持运转的巨型集群，以及一个节点故障也不会让整个任务白跑的机制。

强化学习又把工程难度提高了一个台阶。他描绘了一个即将到来的世界：有大量数据中心，每个数据中心都在基础模型上进行大量推理，在客户带来的新环境中测试它，然后把新知识送回一个集中的地方，让模型变得更聪明。这台分布式的机器充满了难题。贯穿始终的思路刻意不起眼：你得先慢下来，才能快起来；而工厂必须先存在，下一个科学技巧才有地方安放。

Luan 依然对智能体非常兴奋。他把这份热情追溯到 2020 和 2021 年：当时强大的大语言模型能写一首说唱、来一段像样的吐槽，还能做三位数的加法，却在你让它订个披萨的时候就失败了。在谷歌，他研究过工具使用：暴露可供性（affordances），让模型自己决定什么时候去做某件事。强化学习的文献一直用“agent”这个词，而大众还没有对应的说法，所以他的团队试着用了“大型动作模型”。世界最终选择了“agent”，现在什么都是智能体，这个词几乎失去了意义，他觉得这很可悲。在他看来，Adept 是第一家现代智能体公司，创办时正值一个艰难的年份，而他们就是要做这件事。当时最好的开源大语言模型并不好，多模态的图像输入模型还不存在，GPT-4V 要晚得多才出现。他们只能从头到尾端到端地训练一切。他把这比作在 2000 年创办一家互联网公司，然后打电话给台积电，让它为你造一颗自己的芯片。

早期的教训是：没有今天这些强化学习的大语言模型，就只是行为克隆者（behavioral cloners）。它们会做它们见过的事情；一旦碰到从未见过的情境，泛化能力很差，模型就会做出不可预测的事。Adept 追求的是有用的智能，而不是能在 Twitter 上疯传的演示：把枯燥的活儿从那些在乎可靠性的知识工作者身上拿走。发票处理是“Hello World”。失败的方式很直观：如果这个工具每七次就有一次删掉你三分之一的 QuickBooks 记录，你就再也不会用它。两年过去了，可靠性仍然是问题。他认为 OpenAI 的 Operator 非常令人印象深刻，比 Claude 的电脑操作功能高出一截，但两者都聚焦于端到端的任务表现，而端到端的可靠性却非常低，需要大量人工干预。他说，真正的价值在于企业能够发出去就不用管。

把一个基础多模态模型变成大型动作模型，是两件事。工程上的任务，是用模型能理解的方式暴露它能做什么：API、界面元素，以及 Expedia 或 SAP 大致如何工作。研究上的任务，是教它规划、推理、重新规划、遵循指令，并在以后推断用户真正的意思。这与普通的大语言模型工作是不同的问题。即使是很长的数学推理，也仍然是一步，最后给出一个答案。智能体则是多步决策，包括回溯，并且需要预测行动的后果，比如删除按钮很可能很危险，然后在沙盒中学习。他借用了 Andrej Karpathy 的教科书类比：预训练是讲解，监督微调是例题，而强化学习是开放式练习，答案就印在书后面。

如果要批评这个领域的一件事，那就是人们与日益聪明的模型互动的方式极度缺乏创造力。他说，今天的 AI 界面让人想起早期的 App Store：一个会打嗝的按钮，一个靠倾斜手机来倒的啤酒。聊天是一种低带宽的办事方式。他不希望一段七轮的对话才能决定披萨的配料。部分原因是，优秀的产品设计师还没有深入理解模型的局限，而推动技术前进的人仍然把自己当作在交付一个黑箱，而不是一种端到端的体验。他想要的是一种智能体：它能综合出多模态界面，引出它需要的信息，并共享上下文，一起在电脑上工作，看着同一块屏幕，是平行的协作，而不是垂直的。

我们究竟什么时候才能拥有可靠的智能体？Luan 说，Operator 令人印象深刻，但这个领域仍然缺少最后一块，这个类比来自自动驾驶。Effron 举了一个 1995 年横穿美国的自动驾驶演示，其中大约 99% 的路程是自主完成的；之后业界又花了几十年去攻克剩下的部分。Luan 不认为智能体还要等三十年，因为这一次，合适的工具已经在工具箱里了。他关注的里程碑很具体。在训练过程中，在一家大型实验室里，他希望有这样一套方法：他可以把任何任务交给智能体，几天后回来，发现它 100% 完成了。关键在于智能体自己找到解决这件事的办法，而不必靠人类再挤出五个百分点的可靠性。

如果一家初创公司今天从头开始做 Adept，还能赢吗？还是只有前沿实验室和超大规模云厂商才能推动局面？他对此有很大的不确定性，也有一个当前的看法。他认为 AGI 并不遥远，并用两种方式来定义：一种是能做人类在电脑上所做的任何有用工作的模型，另一种是能像通才人类一样快速学会那件事的模型。他说，无论哪个版本，其实都不算太远。他也不认为它会迅速扩散到社会中。阿姆达尔定律（Amdahl's law）依然适用：加速一个环节，另一个环节就会变成瓶颈，所以整体加速比你想的要少。同事们称之为“能力过剩”（capability overhang）：技术到了，社会善用它的能力却落在后面。制约因素是人、流程、围绕创业公司真实使用模型方式的界面共同设计，以及社会接受度。一个发明了全新做事方式的模型，仍然要等人类与它达成和解。

在他这个有所偏向的看法里，这种滞后正是创业公司的机会。实验室可能先做出模型；填补这些能力与终端用户真正想要的东西之间的鸿沟，很可能才是建立公司的工作。即使在通用人工智能的世界里，人与人的关系依然重要，了解你的客户，比控制一件很多其他实验室也会拥有的东西，要重要得多。十年后我们使用电脑的方式，并非取代旧工具。命令行还在，图形界面还在，语音和环境计算会加进来，而智能体会综合出界面。值得关注的指标，是人在计算上每单位精力所能撬动的杠杆，他预计这条曲线会持续向右上方攀升。专业化的模型会存在，但主要出于政策而非技术原因：一家大型银行的销售与交易 AI 和投行 AI，哪怕只是间接地通过它们的权重共享信息，也不应该，就像人类员工今天也不能那样做一样。

他不相信只要把两年后的集群拉过来，一切就会神奇地运转起来；他也不认为通用人工智能需要取代梯度下降，或者等待量子计算机。数据标注仍然有两项真正的工作：克隆高质量的人类行为，以引出基本能力；以及在模糊任务上教模型什么是好、什么是坏。那种为了略微提升模型已经能做好的事而大量堆标签的中间环节，正在变成强化学习的工作。在他看来，机器人学从数字智能体那里拿到了一个带辅助轮的可靠性问题版本：先在数字空间里重新排布仓库，用模拟数据调校算法，然后再走向物理世界。世界模型（world models）让他对剩下的那个空白感到兴奋。定理证明有验证器。数字智能体可以在预发布环境里启动一个模拟器。最难的情形是两者都没有的领域，而世界建模正是他想用来回答这个问题的办法。最能让他对家用机器人有信心的，是数字空间里同样的“100% 完成任务”配方；他再次强调，很多问题的瓶颈在于扩散，而不是模型本身。

他说，亚马逊对通用智能系统非常认真，尤其是智能体，那里的人明白计算本身正在改变。调用一个大模型或大型智能体，可能是未来最重要的计算基本单元。他与 Pieter Abbeel 一起在旧金山开设了一个新的研究实验室，因为亚马逊最高层的人相信，要解决通往 AGI 之路上剩下的问题，需要新的研究突破。当某种替代架构看起来可能把学习更高效地映射到算力上时，他会关注它，但他花更多时间关注的是数据中心和芯片。在评估新模型时，他有两个习惯：当一种已发表的方法比你过去的做法更简单，而结果还更好时，它几乎总会进入深度学习的经典；而公开的基准测试（benchmark）已经被严重“刷”过，也与人们真正的需求匹配得很差，因此衡量标准值得获得比现在更高的声望。实验室相信内部评测。这就是为什么一个模型可以在编程排行榜上夺冠，而实际使用者仍然更喜欢别家的模型。

被问到过去一年改变了哪些看法时，他反复回到团队文化上。在职业生涯较早的阶段，就招募真正聪明、有活力、内在驱动的人，是最好的进步引擎之一，因为这个领域的最优打法每隔几年就会变，而那些死守上一套打法的人会拖慢你的速度。另一个改变更让人不安。他过去相信，AI 的能力会复利式增长：先赢下文本，然后显然会赢下多模态，再然后是推理和智能体。实际上，他看到的复利效应非常有限。人们尝试的思路相对相似。率先做出 GPT-4 级别的模型，与率先取得推理突破之间存在相关性，但并不是确定的。谈到英伟达，他称黄仁勋是一位绝对的传奇。在他看来，讨论得不够充分的关键动作，是把互连技术收归自家，以及围绕系统来组织业务。

他 2017 年加入 OpenAI 时，这家公司刚满一年多，只有 35 人。从一开始，它做对的一件事，就是模糊研究和工程之间的界限，而这正是他受雇负责的职能。桌子周围的人包括 John Schulman、负责超算的 Chris Berner，以及 Wojciech Zaremba。更深层的押注在于，他比所有人都更早意识到，你和你的三个最好的朋友写一篇改变世界的论文的时代已经结束了。重大科学目标会由规模更大、研究人员与工程师混合的团队来解决，不管学术界是否认可这个解法是新颖的。GPT-2 发布时，人们说它看起来就是一个 Transformer。“是的，它就是 Transformer”，这是一件值得骄傲的事。团队能凝聚在那篇论文周围，要归功于 Ilya Sutskever，他不断告诉同事这项工作很重要，并推动大家用 Transformer 在其他架构上重试实验。

他至今仍在使用的那套招人方法没有变：在职业生涯早期就找到内在驱动的人。发明了 DALL-E 的 Alec Radford 和 Aditya Ramesh，没有博士学位，也没有漫长的资历，却做出了定义领域的工作。有一位未具名的队友搬到了湾区，在大约一个半月后的一对一谈话中提到，他从来懒得在公寓里装 Wi-Fi 或接电。他把全部时间都花在办公室里跑实验，而这完全没问题。在快问快答环节中，Luan 预计今年的模型进步表面上看起来差不多，实际上会更大。被高估的是“规模已死，我们彻底完了，不要再买芯片了”这种说法。被低估的是，如何为这些模型解决超大规模模拟，让它们从中学习。