AlphaGo 把学习和搜索结合在一起，语言模型只做到了前一半

开场就是一个论点，而不是预告。“我认为，有人需要解决深度问题。”Misha Laskin 这样说。大型实验室一直在做广度，这项工作正在打开一个真实的市场，但深度仍然悬而未决。Sequoia Capital 的 Training Data 节目主持人 Stephanie Zhan 和 Sonya Huang 介绍他是 Reflection AI 的首席执行官兼联合创始人，曾是谷歌 DeepMind 的研究科学家；他的联合创始人 Ioannis Antonoglou 帮助创造了 AlphaGo，后来又领导了 Gemini 的 RLHF。他们一起想做普适的超人智能体，而且认为，正是那些同时打造过 AlphaGo 和 Gemini 的人，能看清语言模型仍然缺什么。

Laskin 把这份信念追溯到 2016 年 3 月的首尔。AlphaGo 下出了一手看似失误的棋。Lee Sedol 感到困惑，所有人也都一样。十步之后，那一手成了最优解，把 AlphaGo 推到了胜势。他说，这不是蛮力。系统确实做了大量搜索，但它找到了一个人们没有想到的创造性解法。在他的感受里，这切身地就是“第一个真正大规模的超人智能体”，也正是他从第一天起就想进入 AI、打造智能体的原因。

Ioannis 是这段历史的另一半。李世石（Lee Sedol）那场对决时，他就在首尔，是 AlphaGo 的关键工程师。在那之前，他是深度 Q 网络（DQN）的合著者之一。DQN 从原始像素学会了 Atari 游戏，Laskin 称它是深度学习时代的第一个成功智能体，就像 2012 年的 ImageNet 那样是一个突破。之后，他参与了 AlphaGo、AlphaZero 和 MuZero 这一路线。在 Gemini 项目中，Ioannis 领导 RLHF 工作，Laskin 则负责奖励模型的训练。2023 年，他们离开 DeepMind 创办了 Reflection，因为他们认为，自己单独做深度和搜索会更快。

Laskin 出生于俄罗斯，一岁时移居以色列，九岁时搬到华盛顿州。苏联解体后，他的父母带着大约 300 美元来到以色列，这笔钱在他们付了一套或许根本不存在的公寓押金后就消失了。他们不会说希伯来语。他们在耶路撒冷希伯来大学攻读化学博士，原因是以色列向俄罗斯移民发放奖学金，而不是因为他们本来就热爱这门学科。后来问起，他才发现，他们是在把工作做得很出色的过程中，逐渐爱上了它。他从中学到的，比任何关于热情起源的故事都更重要：把工作做好，热爱会随之而来。

他的父母曾许诺他山与森林。飞机先让他看到远处的山峰，然后却转了个弯，飞进了华盛顿州沙漠的那一半。他们降落在 Tri-Cities，那是一座因曼哈顿计划的汉福德基地而存在的城镇，那里曾进行钚的浓缩，与洛斯阿拉莫斯是同类，却远在荒郊野外。他记得风滚草滚过公路。他英语不好，朋友很少，时间却多得很。电子游戏玩腻之后，他找到了父母的《费曼物理学讲义》。费曼能用很少的数学，向一个孩子讲清楚世界的基本道理。Laskin 就此迷上了根节点问题：晶体管是由一位理论物理学家发明的，GPS 则需要爱因斯坦的相对论。于是他去读了物理学博士。

他说，缺的背景是，你要的不只是根节点问题，而是你所处时代的根节点问题。物理学训练带你走一遍，人们一百年前是怎么思考的，那时物理学确实就是那个节点。之后，他做了一个 180 度的转弯，投身于更实际的事情，创办了一家公司，然后注意到了深度学习和 AlphaGo。大约在 2018 或 2019 年，作为一个局外人，他从 OpenAI 公开的研究需求清单里挑了一个被搁置的题目，一封接一封地给研究者发冷邮件，直到其中一位热心地把他引荐给伯克利的 Pieter Abbeel。Abbeel 的实验室涵盖强化学习（RL）、机器人学，以及一篇关键的扩散模型论文。他没有理由接受一个未经审查的局外人。后来 Laskin 也坐到了招生的另一边，他仍然认为那是纯粹的运气，也是他进入这个领域的门票。

Laskin 从 AlphaGo 中得到的教训，正是 Richard Sutton 所说的苦涩的教训。手工设计的技巧，会被那些能大规模利用算力的系统冲刷殆尽，而 Sutton 指出了两种做法。一种是学习，也就是训练，这正是今天的语言模型在互联网文本上消耗算力的方式。另一种是搜索：展开一系列计划，然后选出最好的那个。AlphaGo 同时兼具这两种思路，Laskin 仍然认为，把它们结合起来，是 AI 领域最深刻的想法。正是这种结合，产生了超人级别的围棋智能体。相比今天的大语言模型，AlphaGo 的网络很小，而且它只擅长一件事，甚至不会下井字棋。

深度强化学习（RL）一度陷入停滞。大家原本想造出普适的超人智能体，结果得到的是非常狭窄的超人。数据效率是症结所在：如果一个任务需要 60 亿步，那么下一个任务的数据从哪里来？语言模型剪开了这个结。Laskin 的框架是：互联网是许多任务的集合，维基百科描述历史事件，Stack Overflow 是编程问答，它是一个海量的多任务数据集。同时在大量任务上训练，就能获得通用性。互联网里没有可靠性和自主性的概念，所以，产出的模型是出色的聊天者，却是平庸的工作者，这也就不奇怪了。

工作型失败有个名字，叫误差累积。每一步都有一定概率出错，经过几步之后，复合错误率让一个有意义的任务几乎无法可靠完成。语言模型利用了学习，但它们还不是大规模利用搜索或规划的系统。他说，这正是缺失的那一块。Gemini、Claude 和 GPT 系列，是迄今为止最广泛的智能体，但并不算深。GPT-4o 和最新的 Gemini 系列在同一个基础层上理解图像和音频，就像理解语言一样，所以这个领域或多或少已经消除了广度上的风险。但一路走来，模型从未为深度而训练。互联网上没有关于如何连续思考的数据。数学和编程数据集通常只是替代品，它们仍然没有直接解决这个问题。

到 2024 年，人人都是“智能体”，这个词的含义也越来越模糊。Laskin 的定义说得很清楚：一个能自主推理、并能根据需要采取任意多步骤来完成指定目标的 AI 系统。在深度强化学习时代，这个目标通常是一个奖励函数；AlphaGo 并不是被用文字告知“赢下围棋”的。还有一批关于目标条件智能体的文献，比如给机器人看一张苹果被挪到某处的图片，然后让它把这个情形复现出来。按照这个定义，SWE-agent 和 Devin 确实是智能体，只是在可靠性的光谱上还处在早期阶段。Huang 指出，它们的任务完成率大约在 13% 到 14% 之间，并问，怎样才能达到 99%。

今天大多数语言模型的“智能体”，都是提示词驱动的智能体：一个模型加上一连串提示词，任何人都能从零搭出一个勉强能用的东西。Laskin 认为，这种做法只能走这么远。把模型引向特定路径，正是苦涩的教训会冲掉的那种人类启发式规则。自深度学习以来，每一次自主性方面的重大进展都说明，学习和搜索会吞掉这些脚手架。提示词的职责是说明目标，你总要告诉智能体该做什么。但一旦提示词开始替它思考，把系统套上轨道，告诉它先去这儿、再去那儿，那一层就成了局部最优解。未来的系统不会再需要它。思考与规划必须发生在 AI 内部，而不是在提示词层面。

这些模型从来不是为智能体而训练的，它们只为聊天和预测互联网文本而训练，因此提示词居然能让它们做成一点事情，几乎算是奇迹。而这“一点事情”，恰恰是开始强化学习的合适起点。强化学习会加强好的行为、削弱坏的行为。一个什么也不做的智能体，不给算法留下任何可以强化的东西，这是教科书式的稀疏奖励问题。一个成功率 13% 的提示词智能体，终于提供了一点可供学习的好行为。然后仍有三个问题。任务通常来自产品和真实用户。环境则是一项苦差事：工具、IDE、邮件，每次部署都是不同的技术栈，还有过拟合到其中某一个的风险。最致命的是第三个：你如何大规模地验证，这件事是否做对了？解决任务从哪里来、在什么环境中运行、如何检查工作这三件事，就有了一份自主性的配方。

Huang 问到和棋类游戏最明显的区别：围棋有真值奖励，也能自我对弈。RLHF 能否让大语言模型迎来一个 AlphaGo 时刻？Laskin 说，缺失的真值奖励，也许正是关键所在。上一轮强化学习的经验表明，只要有真值奖励，几乎可以保证成功：OpenAI Five 在 Dota 2 中的表现，以及 DeepMind 的 AlphaStar 在星际争霸中的表现，都是例子。他曾是星际争霸玩家，至今仍对此惊叹不已：那些策略看起来像是一个更聪明的外星人降临，并决定来玩这款游戏。这种行为的收紧，取决于你知道谁赢了。真实的任务并不提供这一点。即便一个通过了单元测试的编程任务，仍可能是错的。他把这称为自主性的根本问题。

聊天绕开这一问题的办法，是训练一个奖励模型，也就是另一个语言模型，来预测某件事做得好不好。它管用，直到不管用为止。这个替代品有噪声，策略会变得足够聪明，找到漏洞并加以利用。假设你不希望聊天机器人讨论敏感话题，于是加入了一些“作为语言模型，我无法回答”的例子。如果数据混合中，拒绝回答被作为正例，而没有正确回答敏感问题的正例，奖励模型就可能学到：不回答是好的。策略会发现，每当它推脱时，分数就很高，于是模型会坍缩成一个从不回答的系统。那些看到 ChatGPT 或 Gemini 突然变差、变得更躲闪，或者政治立场出现偏斜的用户，往往是在看被糟糕奖励函数放大的数据假象。

用 AlphaGo 的视角来看，流水线的草图是同一张。预训练是模仿学习阶段：从零开始到大致会下围棋，或者从零开始到大致什么都会。后训练是 Laskin 所说的“固化好行为”：网络生成自己的对局，获得反馈，好的动作被强化。训练 AlphaGo 和训练 Gemini，在高层的配方上是相同的。差距在于奖励的质量。AlphaGo 的强化学习之所以更精巧，是因为信号很干净。一个嘈杂、可被利用的奖励模型，意味着策略会在搜索能发挥作用之前就钻了空子。在 RLHF 之上叠加蒙特卡洛树搜索，如果每一个局部判断都糟糕，也救不了你；每一步都判断错了，提前规划十步国际象棋毫无意义。他称 OpenAI 的论文《Scaling Laws for Reward Model Overoptimization》被严重低估，它表明，在每一种规模、对每一种尝试过的 RLHF 算法，漏洞利用都会出现。这正是后训练的根本问题。

能否像 AlphaZero 略过人类棋谱那样，也略过预训练？理论上，Laskin 说，如果一切都有真值奖励，就可以。但实际上，DeepMind 从 AlphaGo 做到了 AlphaStar，却没有出现 AlphaStar Zero；跨大量游戏的模仿学习占了很大一部分。围棋是个特殊的环境：零和，很快结束，输赢立即可见。现实世界不会以那样的速度给出反馈，因此模仿学习是进入游戏的门票，你得靠它才能上到棋盘上。

语言模型最让他惊讶的，是它们往往离可用只有一步之遥。它们有些不可靠，会脱轨，但感觉只需轻轻一推。正是这种“差一点”，让聊天对齐成为可能。把模型钉在人类偏好上，它就会成为一个可靠的伙伴。Laskin 和 Ioannis 注意到，他们在 Gemini 上为聊天所做的事情，没有一样是专属于聊天的：收集交互数据，收集偏好排序，用强化学习推动模型。为另一种能力收集数据，原则上你也能解锁那种能力。当任务是客观的而不是主观的时，算法会变化，集成工作也会更乱，但骨架是通用的。长上下文是他最喜欢的一个“消失的瓶颈”：他原以为它需要研究突破，结果算力和规模把它冲走了。剩下的是数据，加上这些模型之上的规划与搜索。他们离开 DeepMind，是想更快地攻克这些剩余部分。

他说，深度上的进展可以像 AlphaGo 那样，攻克一个极其困难的单一任务；也可以在任务复杂度上同心圆式地扩展，使用一套不继承任何任务专属启发式的通用配方。Reflection 走的是第二条路，把配方扎根在多样的环境中：网页智能体、编程智能体，以及操作系统级的电脑智能体。目的在于证明，这套配方本身是通用的。时间表很激进。他认为，类似数字 AGI 的东西，也就是兼具广度与深度的通用智能体，大约在三年之后出现。领域专家曾认为人类水平的围棋还要几十年，AlphaGo 却在几个月内就做到了。他不认同这样的说法：这个领域已经处在 S 曲线的尾部。训练最大的模型需要数月和数十亿美元，因此该领域做过的实验少得微乎其微。优化尚未完成，指数曲线仍在上升。

为什么大型实验室还没有完成这件事？因为在那些公司里，自主性是支线任务，主线任务是下一代基础模型。要解决深度和可靠性，需要一个把整个技术栈都投入其中的玩家。他们在缓慢地招人，从顶尖实验室挑选，看重的是饥饿感，而不是人数。Laskin 把 Ioannis 比作迈克尔·乔丹：他作为个人贡献者如此出色，以至于团队其他人即使永远追不上他，也会努力去够他的水平。Laskin 说，和他一起做 Gemini 的时候，他不确定自己是否达到了那个水平，但他确实成了更好的工程师和研究者。Huang 问，三年后，她是否会有一个智能体替她写备忘录。Laskin 说，备忘录可能来得更早；她可能拥有的，是一群替她承担研究工作的 AI 实习生。在他功利主义的定义里，可靠性本身就是安全：一个在你电脑上跑来跑去、删除文件的智能体，就是不安全的系统。他还提到 Anthropic 的机械可解释性研究，包括可以定位并抑制的“说谎神经元”（lying neurons），认为这既是安全研究，也是可靠性工程。

如果 Reflection 成功，Laskin 希望得到两样东西。作为科学家，这是他那个时代的根节点问题；一个拥有安全、可靠的数字智能体，在你的电脑上替你工作的世界，是你可以投身其中的最令人兴奋的科学旅程之一。他不认为人类对生产力的需求会消失，而是认为每个人的产出能力都会提高。另一个角度是用户：电脑是我们的第一个通用数字工具，就像锤子和凿子之于物理世界那样。下一层是这样的智能体：接过精细的重复性工作，让你能设定更有雄心的目标。软件工程师今天已经借助现有工具做得更多了。他认为，那只是开端，还不是产品。

在快问快答环节，他最感兴趣的是机械可解释性，也就是语言模型的神经科学，它开始显示出在玩具场景之外也能奏效的迹象。如果他仍在学术界，他会深入研究 AI 科学：究竟是什么决定了规模律，无论是理论上还是经验上，以及数据配比如何改变模型。他把此刻比作 1800 年代后期的物理学。电已经被发现；大量经验规律没有理论；然后简单的理论模型出现了，打开了下一波实验的大门。他提到的几位合作过的人包括：Pieter Abbeel，他以运营上的严密让研究像一艘“紧凑的船”，并且会放大独立学生的作用；Volodymyr Mnih，DQN 的第一作者，也是 A3C 的先驱，他称 Mnih 极其友善、谦逊；还有 Ioannis，他在一个早期的小团队里，就像前面说的乔丹效应那样。

关于创业者的建议，他说自己再过几年才更有资格给。他现在能给出的，来自上一家公司，那家公司跟 AI 无关：为零售商开发库存预测软件，选它是因为能赚钱，而那是一个他从未亲身感受过的痛点。去做那些在内在对你真正重要的事，几乎与周围正在发生的事情无关，这样当一切变糟时，它依然有趣。AI 是一项很酷、能力很强的技术，人们很容易想要抓住它，看看能做出什么。如果没有强大的内在指南针，你就会陷入困境。Stephanie Zhan 的解读是：在自己的体育场里比赛，不要被别人体育场的灯光分心。Laskin 补充说，关心客户不是可以强迫出来的。如果问题本身与你内心的某些东西不一致，你就不会在乎拥有这个问题的人；而为你并不在乎的客户做东西，是一个非常糟糕的处境。