连下 40 局《外交》（Diplomacy），没人发现对手是机器人：Noam Brown 的 10 万倍教训

主持人 Sarah Guo 和 Elad Gil 介绍 Noam Brown，说他的研究生涯集中在博弈论智能体上，他并不做现在公众讨论 AI 时常提到的那种提示词生图循环。他的道路并不是从童年的 AGI 梦想一路直线走来的。大学本科末期和刚毕业后，他做过算法交易。每天的盈亏像游戏一样好玩、刺激，但并不是最有成就感的生活方式。他去美联储工作了两年，希望弄清楚怎样设计市场结构，才能鼓励更多亲社会行为，也正是在这个过程中，他对博弈论产生了兴趣。

经济学博士看起来太慢了：一个好想法，还得先过立法这一关。计算机科学让人能动手去做。他注意到，最令人兴奋的博弈论工作已经在计算机系里进行，于是他申请了算法博弈论的博士，并于 2012 年入学。正好有一位教授需要人做 AI 扑克。Brown 在高中和大学时玩过扑克，但从未玩过大额，甚至在本科时尝试写过一个扑克机器人；那个机器人表现很差，但很好玩。最初的目标并不是 AGI。2012 年，AGI 在几乎所有人眼里都还是科幻。

多数人的看法是，AI 充其量是个没有前景的领域。他记得自己给一位教授写信，说明有兴趣，同时又担心读博会让自己找不到工作。读了两年左右，进展的速度变得显而易见，他又恰好站在了正确的位置上。AlexNet 让他印象深刻：他刚上完一门计算机视觉课，课上还在讲 SIFT，AlexNet 却一下子把旧的特征工程流水线扔出了窗外。真正让他下定决心的，是 AlphaGo。

1997 年，深蓝击败了 Garry Kasparov，给这个领域的启示是：规模化是有效的，但那次扩展的是搜索，而非训练神经网络。这些技术在围棋上行不通，因为你没法手写出一个像样的局面评估。在国际象棋里，你可以把棋子的价值加起来，大致判断谁占优。围棋的局面太大、太微妙、太细腻；一位强人类棋手能告诉你谁领先，却说不清为什么。人们以为，人类只是更擅长这种模式识别。一个在这种受限游戏中做得更好的 AI，在全世界都敲响了警钟。Brown 仍然建议大家去看纪录片《AlphaGo》。

扑克之后，关于下一个基准测试的讨论很热闹。人们提议过 Hanabi、Werewolf 和卡坦岛（Settlers of Catan）。那是 2019 年：GPT-2 已经发布，DeepMind 在《星际争霸 II》里做到了大师级水平，OpenAI 也在花了几年之后，于 Dota 2 中击败了人类专家。在 Brown 看来，卡坦岛更像是五个人花一年时间的攻坚。他们想要的是一个需要全新技术的问题，而不是把已有的东西放大。他们能想到的最难的游戏是《外交》。尽管已经见过这十年的成功，一个能用自然语言与人类谈判、并与人类一起制定策略的 AI，在当时仍像科幻。他有点害怕把目标定得这么高。他说，所有研究都是高风险、高回报的，或者至少应该是这样。

最出人意料的，是 Cicero 竟然没有被识破为机器人，结盟之类的巧妙手法倒在其次。没有办法做诚实的预演：如果你雇人来玩，他们就知道自己在参加实验。如果他们知道其中有机器人，行为就会不同，整个实验会退化成一场图灵测试。这款游戏的玩家圈很小，玩家之间会聊天。大家担心的是，两局或五局之内，就会有人想明白，消息传开，之后的每一局都变成了猎捕机器的游戏。团队对自己说，在暴露之前能撑过十局就算幸运。结果他们跑完了全部 40 局。

Brown 把这看作语言模型的证明，同时也说明了人类会如何解释奇怪的话语。机器人确实说过一些奇怪的话，人们的第一反应是觉得对方很笨、分心，或者喝醉了，很少有人想到“这是台机器”。机器人排在这份怀疑名单的最末尾。有一句话至今还让他心里发毛。一位人类玩家说，他担心 Cicero 在边境的部队。机器人并没有计划进攻，它往相反的方向走。它的回复大意是：“我完全理解你的担心，我可以 100% 向你保证，我不打算攻击你，我是往另一个方向走的，你可以相信我。”他绝不会料到一个机器人会这么说。他说，看到这一幕，你会体会到这里面有很强大的东西。

Cade Metz 那天在《纽约时报》上发表了一篇文章，认为图灵测试在某种程度上已经死了。Brown 同意，它已经不能再按原本的意图衡量智能。机器人已经足够接近，测试失去了锋芒。这并不意味着通用智能已经到来，还有很长的路要走，系统还有许多做不好的事情。进展，尤其是近几年的进展，令人惊叹。他更想看的是推理能力，而不是聊天测试。大多数系统做的是下一个词预测，Cicero 则不同：它的对话以计划为条件。他指出，思维链是一个出人意料地有效的简单想法：加上一句“让我们一步一步想清楚”，模型就会展开一段更长的思考过程，而这类过程它在人类数据里见过。悬而未决的问题是，你能不能在每一步都改进这个过程，而不只是原样重放。

Gil 一直在问研究人员，什么时候容易获得的数据会用完，那时实验室就必须为合成数据、RLHF 付费，甚至为人们记录自己的一天而付费。Brown 的回答并非这类对话通常想听到的。目前还不清楚，数据是否是性能的瓶颈。他和其他 AI 研究者聊过，他们的担忧比公众的说法要少。外面的数据比人们意识到的或目前使用的要多，而且样本效率应该会提高，这会把现有的数据用得更远。

他看到的瓶颈在于扩展投入。他说，如今的模型训练成本大概在 5000 万美元量级。10 倍很容易想象，他也不会惊讶于一两年内出现一个 5 亿美元的模型。再一个数量级，也就是 50 亿美元，如果你是美国政府或一家非常大的科技公司，也是可以想象的。1000 亿美元的模型可能仍然有用，但已经不现实了。再往上推两个数量级，就会碰到大问题。效率和并行化还能再挤出一些，很多已经挤过了。

这就是为什么他对一个人们还没有扩展的维度感兴趣：推理时的计算。预训练花 5000 万美元，然后每个答案一美分。如果答案需要一个小时，或者十秒，而不是一秒钟，会怎样？人们想要更好的答案时，会坐下来思考，而模型大多不会这样做。他认为，把成本从预先计算一切，转移到现场思考，是突破训练投入这堵墙的方法。

《外交》没有互联网规模的对局记录。在搜遍网络之后，Brown 找到了一个有可观语料的网站：webdiplomacy.net，一个存在约 20 年的休闲社区，大约有 5 万局游戏、1300 万条消息。另一个热门网站曾定期删除历史记录，因为它们占用服务器空间，这相当于守着金矿却把它扔掉。还有些网站拒绝合作。他说，没有那笔交易，这个项目根本不会发生。5 万局是一个很好的数据集，但不足以从零训练一个机器人。在《外交》聊天内容上微调过的预训练语言模型，才能产生一个真正能在游戏中开口说话的机器人。

会说话并不等于有战略。在这些游戏中，光靠有监督学习学不到真正好的策略，而且日志里的大多数玩家都很弱，钟形曲线保证了这一点。这个发现并不局限于《外交》。团队在国际象棋和围棋上也做了实验：仅在海量人类棋局上做有监督学习，得不到专家，即使你让模型表现得像特级大师，因为它没有做任何规划。要超越平均水平，甚至超越强人类，他们必须做自我对弈，也就是 AlphaGo、AlphaZero、Dota 2 机器人，以及 Brown 的两人和六人扑克机器人所用的同一套配方：与自己对弈数百万乃至数十亿条轨迹。

《外交》还带来了一个合作陷阱。如果从零开始训练谈判者，不用任何人类数据，它可能会学会用一种乱码般的机器人语言谈判。把它放进六个人类玩家中间，人类之间会彼此合作，把它晾在一边。走棋也是如此。自我对弈的机器人会形成一些规范：我会支持盟友进入那片领土，因为很明显他们应该去那里，无需多说。人类则有另一套元博弈。如果你不遵守他们的惯例，他们就不再和你合作。Cicero 的解法是：先用对局记录建立一个粗略的人类行为模型，再用自我对弈作为修正，让策略变得更强，同时又不至于与人类不兼容。Gil 指出了现实世界中的对应：一辆假设其他司机都是完美机器的自动驾驶汽车，是危险的汽车。Brown 表示同意。在现实世界中有用，不只是在棋盘上打败人类，还意味着应对人类的错误与人类的暗示。

游戏自 1950 年代起就是 AI 的基准，国际象棋被视为大挑战，理由是：一台和特级大师一样聪明的机器，在其他方面也会很聪明。这是个虚假的承诺；国际象棋引擎做不了别的什么，尽管这个领域从中学到了很多。游戏仍然有用，因为人类的顶尖水平是一个客观的标杆，在研究人员到来之前就已存在，不像那种为了迎合你手头已有技术而量身打造的基准。Brown 认为，单个休闲游戏如今已经不再是有趣的挑战。在他看来，《外交》是他所知道的最难做出的 AI 游戏。他想不出另一款游戏，成功之后仍然会让他觉得“我原本不认为这可能”。下一个基准是通用性：一个系统既能在这些游戏中达到超人水平，又能做图像生成和问答，这样研究就不会只对单一棋盘过拟合。

被问到人类将在哪些领域保持主导，他先从物理世界说起。机器人学进展落后，他想尽量避开这一块，因为软件领域更让他舒服。写出下一部《哈利·波特》这件事还没有实现，也许还要五年，他觉得这有点吓人。他很难说出 AI 最终不会超越人类的领域。他说，目前明显的优势是通用性，也就是在许多领域里从少量样本中学习。Gil 反驳说，这个标准比我们用来衡量人的标准要高：在一件事上很擅长的人，通常并不是在所有事上都很擅长。Brown 把它重述为样本效率。成为一个好的国际象棋玩家、《外交》玩家或艺术家，需要多少局？对人类来说，需要的局数比 AI 少几个数量级。在数据稀少的领域，这一点是决定性的。这个差距至今没有被克服，但将来也许会被克服。

在金融系统方面，他确信深度学习已经为许多交易提供了支持。他以前做过金融；喜欢扑克的交易公司曾邀请他去讲课。强化学习对交易真的有用吗？他通常得到的回答是否定的。市场是非平稳的，历史数据很快过时；盘面会对世界事件做出反应。你需要一种能理解世界的方法，黑箱不行。AI 已经以有限的方式提供帮助，比如拆分大额订单。他提醒说，这大概是五年前的知识，真正能赚钱的前沿，并不是人们会告诉他的东西。谈判机器人则看起来已经接近。在受限的场景里，比如一件商品的价格，或许是工资，他认为 AI 已经能比人做得更好。合同谈判仍然有太多细微之处，专业人士还不能被取代。录制前，Guo 和 Gil 提到，已经有好几个人发邮件告诉他们，他们正在做价格谈判的智能体。Brown 认为这是正确的判断。

一位前同事对 Brown 的概括是：他会挑选一个被忽视、但有前景的领域，全身心投入，并成为其中最好的人；而其他人则追逐当下流行的东西。他接下来想做的是推理问题，这一想法来自这些游戏。AlphaGo 被视为深度学习的里程碑，没有深度学习它做不到，但仅有深度学习它也做不到。去掉规划，只用原始策略网络，它的水平就明显低于人类顶尖棋手。聊天机器人和图像模型都是强大的原始网络，原始网络仍然下不了围棋。蒙特卡洛树搜索这个额外的算法，非常依赖具体领域。它在国际象棋和围棋这两个经典测试台上有效，在扑克中无效，在《外交》中也无效。对于那些做过这些领域的人来说，这是一个重大弱点。真正的奖赏是一个更通用的推理与规划系统。

如果真的能以通用方式解决这个问题，那么投入再大也是值得的。在他看来，五年内让模型证明黎曼猜想，并不算疯狂。也许每个 token 的推理成本是 100 万美元，但如果能做成，那就值得。同样的机制也许能写出获奖小说，或找到救命的药物。代码也在这份清单上：下一个 token 预测已经走得出人意料地远，但它还无法替代那些需要规划整个产品的工程师。Copilot 只看局部上下文。常见的反对意见是：继续扩展训练和网络规模，直到不再需要规划。他算了一笔账：在 AlphaGo 中，用更大的原始网络去匹配搜索，大约需要 10 万倍。这些模型的成本已经在 5000 万美元量级，你不可能把它们扩展 10 万倍。AlphaGo 的办法，是在对局中花约 30 秒思考下一步，把负担从预先计算转移到现场思考。这同样是缺失的那一块。

Gil 问，为什么架构应该是通用的。大脑是模块化的：有视觉皮层、情绪模块，还有著名的病例，一根铁杆穿过大脑某个特定区域，就损毁了某项特定功能。为什么不用一堆专门的系统？Brown 不会死守某一种技术。答案可能是更多专门化的系统，而不是一个真正通用的架构。他固执的是目标：一个能在各种各样领域都取得成功的东西。为每个领域发明一种独特的方法，能让你走出一部分路，但他认为，它最终会被取代。深度学习本身也曾被当作死胡同，是加拿大荒野里的几个人坚持下来的。方法的多样性有价值，尝试一些与所有人都不同的东西。至于其他研究者应该研究什么，他不会点名某个课题，而是会说一种风格。研究本质上就有风险。你正在做的东西，很可能长期来看并不有用。接受这一点。在他的博士早期，很多工作从宏观角度看并不那么有用。那没关系，因为总有一件事是有用的。Guo 的临别赠言是：像 Noam 那样，去做让你紧张的事。

然后他讲了规则，因为有了棋盘的概念，突破会更容易看清。《外交》是 1950 年代由一个目睹一战外交失败的人设计的，他想要一款能帮助人们成为更好外交官的游戏。那场战争开始时的七个强国：英格兰、法国、德国、意大利、俄国、土耳其和奥匈帝国，每一回合都在私下谈判，然后把写好的行动同时揭示出来。你可以守信，也可以背刺。只有一名玩家能获胜，但早期合作对双方都有帮助，有点像《饥饿游戏》。Brown 把它称为《风险》、扑克和《幸存者》的混合体。它曾是肯尼迪和基辛格最喜欢的游戏。关于它的 AI 论文可以追溯到 1980 年代。直到几年前，用自然语言与人类对局并击败他们，还完全是科幻。2019 年，包括他的团队、DeepMind 和蒙特利尔的几个实验室在内，开始为无媒体版本（只通过行动交流）开发基于深度学习的机器人。他的团队则冒险迈出了完整语言的一步。他说，这是第一个涉及合作的重大游戏 AI 突破，而合作正是你真正想要的能力，如果你的目标是在现实世界中有用，而不是为了一座奖杯。在国际象棋中，“半人马”式的人机协作玩法已经在消退；在围棋中，人类偶尔还能抓到 AI 的怪异失误；在《外交》中，经验丰富的人加上 AI 仍然比单独的 AI 更强。他预计这一窗口会关闭，直到人类只是边缘性的附加角色，国际象棋就是这样。

Brown 的博士研究是单挑无限注德州扑克，这是一个有着悠久传统的挑战问题。在 John Nash 最初的博弈论论文中，唯一讨论的应用就是扑克；Nash 甚至手工分析过一个简化的三人游戏，并表示分析更复杂的东西会很有意思。六十年后，他们做到了。AlphaGo 之后，问题变成：AI 仍然做不到什么？剩下的空白是隐藏信息：对手知道你不知道的事，你也知道他们不知道的事。好几家实验室每年都会做一个机器人，并在年度计算机扑克大赛（Annual Computer Poker Competition）中与它们对战；这项比赛已经变成了一场规模化竞赛。河牌圈大约有 25 亿种可能的手牌组合。在神经网络出现之前，他们用 k-means 把相似的手牌分桶：第一年 5000 个桶，然后 3 万个，接着 9 万个，训练得更久、并行化更多，然后打败了上一年的模型。2014 年，他们赢得了比赛，并把这个机器人带去和四名顶尖的单挑无限注职业选手对战，打了 8 万手。它输得相当明显。

人类做的，是机器人没有做的事。团队在 1000 个 CPU 上训练了两个月；牌桌上，机器人立刻行动。而职业选手在艰难的局面下会坐着想上五秒，有时一分钟。比赛结束后，Brown 分析了一个决策时的规划算法值多少。答案约为 10 万倍，相当于把参数规模扩大并训练那么多倍。他在博士期间三年的规模化训练，只换来约 100 倍，而他曾为此感到自豪；与搜索相比，这只是个脚注。他花了整整一年，几乎没有休息，每周工作 100 个小时，把尽可能多的计算都投到推理上。2017 年 1 月，他们又与四名专家对战，并设立了 20 万美元的奖金来保证比赛的公正，最后大获全胜。职业选手说，他们原本不认为有可能以这么大的优势击败专家级选手。之后那个六人版机器人，用一种更可扩展、只向前看几步的搜索赢得了比赛，它的训练云账单不到 150 美元。他强调，那是一次算法上的突破，算力故事并不是重点。二十年前如果有人知道这种方法，同样的结果本来也能做到。

这个机器人也改变了人类的打法。下注额被离散化了，因为下注 5000 美元和 5001 美元没有区分的价值。接近尾声时他们有多余的算力，于是加入了更多的下注尺寸，比如 4 倍底池、10 倍底池，并没有指望机器人会用上它们。结果机器人大量使用了这些尺寸，包括在 100 美元的底池里下注 2 万美元，这在职业比赛中闻所未闻。Brown 起初认为这可能是个错误，人类也这么想，直到他们屡屡陷入糟糕的跟注或弃牌局面。他说，如果对手真的很挣扎，那说明你做对了某些事情。之后职业选手说，超额下注是他们唯一带走的收获。过去典型的下注大小是四分之一底池到一倍底池；现在，5 倍和 10 倍的下注已经是工具箱的一部分。训练的方式很像国际象棋：先下棋，然后让机器人标出错误。Brown 把扑克描述为高维的国际象棋，推理的是一个动作的分布，而不是单一的离散走法。

许多人不相信扑克存在完全最优的打法，尤其是线下对局，还有社交线索。这些因素已经从制胜策略中被扫除了，但没有从乐趣中被扫除。严格表述的纳什均衡并不意味着你总能赢，它的意思是：从长远看，你的期望收益不会为负。两名均衡玩家打平。在扑克这样复杂的游戏里，对手会犯小错误，而每一个错误都是你口袋里的钱。你按纳什均衡打，等待，然后赢。如今这已成为常识：从均衡开始；如果你真的很强，可以偏离均衡去惩罚对手的偏离，但稳妥的做法，是按兵不动，让他们付钱给你。