冷扑大师未用神经网络，击败了世界顶级扑克高手

Tuomas Sandholm 是卡内基梅隆大学教授，刚刚在 NeurIPS 大会上获得最佳论文奖。他对 Lex Fridman 说，一对一无限注德州扑克已经成为 AI 社区的主要基准，用来检验与具体应用无关的不完全信息算法。与电视和周五夜里厨房牌桌上那些多人牌局不同，一对一就是两个人，我对你，更接近国际象棋或围棋，只不过每个人手里都有两张对方永远看不见的私牌。五张公共牌分四轮发出，下注没有上限。私人底牌就是不完全信息，之后的一切都是公开的。

2017 年，他的系统冷扑大师在这一具体游戏中击败了前十名专家中的四位。他把这四人带到匹兹堡的 Rivers Casino，连续坐了二十天，目标是 12 万手牌，以得出统计上足够显著的结论。即使是这些打得很快的线上职业选手，也不可能独自打完这么多手，所以四人从早到晚轮流上场。他筹集了 20 万美元的出场费奖池，并按每位选手对阵 AI 的表现发放，这样他们就有动力去拼，看自己是领先、落后，还是正卡在进钱圈（money bubble）的边缘。

几年前，团队曾问能否用真钱来玩。宾夕法尼亚州博彩委员会不同意，所以这场比赛只是表演赛，更像拳击表演，而不是现金局。不过他们仍然持续记录着筹码的累计变化：如果用的是真钱，冷扑大师本应赢得接近 200 万美元。人类选手通过熟悉的线上风格界面打牌，下注记录留在屏幕上，以免选手的记忆力变成 AI 的一项隐藏优势。

一年半前，Sandholm 曾办过一场类似的人脑对阵 AI 的比赛，所用的机器人较弱，没能击败人类。他知道冷扑大师要强得多，但仍只给自己大约 50/50 的机会，因为在真正对上顶尖人类之前，你无法确知自己的实际水平。国际博彩网站把 AI 列为四比一或五比一的弱势方。在它连赢三天之后，赔率仍然是平手。

他把浪漫化的扑克神话拆成两部分来看。他认为，人们之所以过分信任人类，是因为他们已经看过顶尖专家有多厉害，很难相信一个程序能击败他们。在你亲眼看到 AI 胜过人类之前，很难相信它能做到。他把这种滞后当作整个领域的普遍教训，而不只是牌局里的一个怪癖。

至于暴露信息的小动作（tells），好莱坞式的版本在周五夜里的家庭牌局上是真的：一个会观察的人能把对手看得像翻开的书一样。但在最顶尖的选手之间，他们把这些小动作藏得很好，专门去捕捉它们几乎不值得。在那个层次上，可选行动大约在十种到一百多种之间，远比肢体语言丰富。真正的较量在于可能行动的数量，而不在于眼睛。

博弈树的规模大约是 10 的 161 次方，即使用最快的均衡求解算法也无法直接求解，所以必须先做抽象。在博弈中，抽象比在 MDP 或其他单智能体场景中棘手得多，原因在于 Sandholm 所说的抽象病理现象：精细的抽象可能产生一种在真实对局中比粗略抽象表现更差的策略。你必须小心。抽象分两类：信息抽象处理机会的部分，也就是牌；行动抽象处理玩家的部分，也就是下注。

在信息方面，冷扑大师是完全自动化的。算法做的是这个团队所说的“潜力感知抽象”（potential-aware abstraction）：它不只是给当前手牌打分，还会评估这手牌在后续几轮中可能演变成好牌还是坏牌。这是一个自下而上的过程，使用整数规划和聚类。行动抽象则更多地依靠人类和早期 AI 的下注习惯。在博弈树的开头，他们使用一种可证明收敛的自动化方法来找出最优的下注尺度组合，但它无法扩展，所以只用在前面的几次下注行动上。

Fridman 提出了那个浪漫的问题：如果下注才是一切，那么不看牌能打多好？Sandholm 说，方差正是他们一开始就需要这么多手牌的原因。如果双方都全下，筹码就完全是运气的堆积，即使几千手，也可能被波动左右结果。这就是为什么统计上的显著性要靠十万手以上，而不是几千手。他听说挪威职业选手 Annette Obrestad 曾经从来不看牌，就赢下了一场锦标赛；他认为这极其罕见。牌面依然重要。

冷扑大师没有用任何学习方法，仍然达到了超人水平。比赛之后，Sandholm 的团队发表了一些工作，用深度学习来估计评估函数，精神上类似 AlphaGo。但在不完全信息博弈中，这还不够。如果你手里是一把烂牌，而对手以为你拿着好牌，那你就占了便宜；反过来也一样。一个状态的价值，并不只是牌面的函数。它取决于沿着博弈路径上的信念分布。

在围棋、国际象棋或将棋中，至少有一个定义明确的状态，以及对该状态的评估。这里你必须做更多的事。他们的一篇论文讨论了不完全信息博弈的深度受限搜索，让对手在搜索的叶节点上从不同的后续策略中做选择。这样就不必假设对手只有一种打法，也迫使前瞻不至于过于乐观。冷扑大师本身从未用到这个技巧：它只在一手牌的末尾搜索，那里的收益是真实的。新的工作让它能从第一轮就开始向前看，否则搜索空间会大到无法处理。

DeepStack 走的是另一条路。它随机生成局面，把每个局面当作一个新博弈的起点，一直向前搜索到终局，然后用深度学习去拟合这些状态的价值。这些状态是牌加上信念分布的组合。Sandholm 很谨慎，不想在两者之间排出高下。他指的是一个概念上的分岔：要么在真实收益处终止，要么学习一种能感知信念的价值，要么让对手在若干续局中做选择，从而让搜索保持可靠。

信念是被显式建模的，但它们是输出，而非输入。开局时的信念来自公平发牌：每一对剩余的两张牌组合都同样可能，并加上牌的消去效应（card removal）：如果你拿着黑桃 A，对手就不可能拿着它。从这里出发，纳什均衡（John Nash 于 1950 年提出）把理性的博弈定义为一对策略计划，使任何一方都没有偏离的动机。作为副产品，贝叶斯法则会在每一个信息集内给出真实状态上的概率分布。

剪刀石头布是最简单的版本。把它画成玩家一先出，然后把这一步藏进玩家二的信息集里。均衡说玩家一以各三分之一的概率出石头、布和剪刀；因此玩家二在这个信息集上的信念也是各三分之一。这种构造不针对具体玩家。Sandholm 的团队不需要知道这四位人类选手，或者任何早期机器人过去是如何出牌的。“这一切都关乎理性。”方法来自博弈的设计，而不是玩家的设计。

他们还有另一条研究路线，把对手建模与博弈论结合起来，以便更好地剥削弱的玩家。他没有把这个模块用在冷扑大师上。四位专家几乎没有漏洞，而且他们是反剥削方面的世界专家；一旦你开始剥削，通常也会暴露自己。在两人零和博弈中，博弈论策略即使没有最大程度地击败菜鸟（fish），也是不可战胜的：一个打得差的对手可能会扰乱你的信念，但他们因打得差而损失的，比他们因混淆你而得到的更多。混合方法可以从均衡出发，在数据到达博弈树的某些部分时，逐渐偏向剥削，同时保持足够接近均衡，以免被反剥削。

在谈三人问题之前，Sandholm 先勾勒了整个版图。纯粹的重复博弈，即同一个矩阵反复出现，是一个粗糙的模型，而且在现实中其实很少见；一段供应目录不断变化的采购关系，并不是重复博弈。随机博弈介于二者之间：它是一系列小型矩阵博弈，其中的行动决定了下一个博弈的概率分布。扩展式博弈（extensive-form game），即树形结构、用信息集表示隐藏信息，是最一般的形式。扑克正属于最后一类，这也是 AI 界一直用它做基准测试的原因。

两人零和博弈在概念和计算上都比较容易，即使规模很大也是如此。任何一个均衡策略，对另一个均衡策略来说都是最佳应对，因此你可以选择与对手不同的均衡，仍然能得到博弈的正确值。这种兼容性在两人一般和博弈中会瓦解，在三人零和博弈中也会瓦解。所有有限博弈都存在纳什均衡，纳什在 1950 年证明了这一点。问题在于选择。如果你从均衡 A 中选，我从 B 中选，在非零和博弈中，我们俩都可能比事先协调好的情况更糟。三个玩家时，串通就出现了：两人可以联手对付第三人，并获得好得多的结果。

Sandholm 的学生 Noam Brown 在 Reddit 的一次问答中说，除了现有方法，扑克的可能突破并不多，但玩家之间的合作会让它变得极其困难。Sandholm 同意。他和另一位学生 Gabriela Farina 刚在 NeurIPS 上发表了一篇论文，为联盟博弈（coalitional games）引入了一种新的博弈表示方式，因为一些标准表示甚至无法表达这种结构。桥牌把协调写进了规则：搭档共享收益，但不能私下透露自己的牌，所以他们会事先约定策略，并使用对方也能理解的信号。拍卖、谈判、外交和扑克都没有把串通写进规则，但它对串通者仍然可能非常有用。

被问到这些如何走出赌场时，Sandholm 指向两家公司。Strategic Machine 把这项技术带入商业、体育、游戏、金融和电力市场。Strategy Robot 则把它带入军事、安全、网络安全和情报领域。第三家公司 Optimized Markets 关注的是组合市场和优化，而不是这套博弈论技术栈。他说，建模人类并不总是目标。在零和博弈中，他并不特别在意对手是否遵循他对理性行为的模型，因为如果对手没有遵循，那对他来说就更好。

Fridman 举了一个来自自动驾驶的混乱人类例子：行人横穿马路，信任车辆不会撞死自己，这种无声的互动。Sandholm 并没有仔细想过乱穿马路的问题，但他对车队层面有一个想法。设想 Waymo 的车队和优步的车队共享同一座城市。交通法规规定了什么是合法的，但仍然留下了巨大的策略空间。今天，并线的车辆会减速、互相观察，然后浪费时间。如果这些情境事先已经谈判妥当，车辆就可以高速并线，那会更好。

需要协商的情况太多，无法手工讨价还价，所以设想是对组合式的捆绑进行自动化协商：在这些情形下我让你先走，作为交换，在那些情形下你让我先走。这种博弈是否应该建模为不完全信息，他说这是一个真正的问题。完全信息博弈要容易得多，所以如果你能侥幸这样处理，就应该这样做。如果真实情况是不完全信息，你就得为此付出代价。

这场比赛让他在构建 AI 方面学到了什么？他喜欢以性能为导向的研究，他的团队尝试从想法到理论、再到实验系统、再到实际部署和商业化，走完整条链路。他认为，在很多 AI 领域，你必须先建造大型系统并大规模评估，才知道什么有效。计算博弈论给了他一个尖锐的教训：很多在小规模上看起来不错的技术，到大规模时就失败了。理论收敛速度更好的方法，包括一阶方法在内，在实践中仍然输给基于 CFR 的算法。理论还不足以对这些算法做出严格排序。从小型博弈中外推出来的预测，可能会有很大的误导性。

他说，第一场一对一无限注的人脑对阵 AI 比赛，大概让他成了扑克界最令人讨厌的人。他并不是有意的。很多人觉得超人水平的机器人会吓跑人类玩家，夺走他们的钱。评论多是“超级激进”，几乎接近死亡威胁。他不认为自己杀死了这个游戏，正如国际象棋引擎没有杀死国际象棋一样。他之前并不是扑克玩家；这些 AI 教会了他许多细微之处，也改变了这个游戏的打法。顶尖人类现在也会采用那些“非常像机器”的下注方式。如果说有什么影响，这项工作让扑克对人们来说更加丰富，而不是让人想要离开的东西。

Fridman 指出，在学术界，把自己的想法拿去对阵顶尖人类，比拿到 NeurIPS 最佳论文更少见。Sandholm 不认为这是勇敢。组织这么大规模的一件事需要大量工作。总的来说，他认为事情好不好，要看在现实规模上的检验。在这件事上，还有一场持续多年、各研究团队之间争先越过超人水平线的竞赛。“一点友好的竞争，对进步大有帮助。”

机制设计是一门艺术：编写规则，使理性玩家产生你想要的结果。Sandholm 的版本是自动化的：去搜索这些规则，而不是手工调整。他仍然相信这个方向，但它不是万能药。这个领域充满了不可能性结果，证明在类别 C 上没有任何机制（无论是人工的还是自动的）能够实现目标 X。那些结论与人类的聪明才智无关，它们证明的是整个一类机制都无法击中目标。不过，自动设计针对的是具体场景。即使在一个“不可能”的类别之内，也不是每个实例都不可能，你可以从中划出可能性的孤岛。他的团队就是这样处理 1983 年的 Myerson–Satterthwaite 定理的：这是著名的不可能性结果，说明在不完全信息下无法实现有效交易；但在许多具体的设计中，有效交易仍然是可以实现的。

被问到政治、交通信号灯以及其他人类系统时，他更为谨慎。机制设计本身的成功相当有限。即使有懂行的理论家在场，大多数现实情形从机制设计的角度看也站不住脚。人们通常是从理论中汲取洞见并加以引入，而不是直接套用这些机制。最著名的例子是 FCC 的频谱拍卖，Sandholm 只起了很小的作用，当时有“优秀的经济学家”在工作。实际规则仍然使得如实出价不是最佳策略。

机制设计者通常试图让诚实成为占优策略，从而让参与者的生活更轻松。即使在那些赌注极高的拍卖中，频谱的总价值高达数百亿美元，如实出价仍然不是最佳选择；而且他补充说，甚至没有人知道哪怕一种最优的出价策略。难点在于物品多、参与者多；这些机制的特性使得即使只有一两件物品，如实出价也不是最优的。理论与真正运行的制度之间的差距，比教科书所暗示的要大得多。

Fridman 把 Libratus 与深蓝（Deep Blue）和 AlphaGo 放在一起，问下一个这样的事件会是什么。Sandholm 并不真正知道。在博弈求解领域，一对一无限注德州扑克是最后一个被广泛认可的基准。各个团队正在研究星际争霸（StarCraft）、Dota 2、Diplomacy 和 Hanabi（花火），这些都是娱乐性游戏，没有一个被公认为下一个国际象棋、围棋或德州扑克。他希望一个共享基准能够回归，因为过去十年，不同团队攻克同一个问题，推动了与应用无关的技术飞速前进。他自己不打算在娱乐性基准上那么拼命。Strategic Machine 和 Strategy Robot 才是当前的重点：把技术推向实践。

他认为，这个领域的处境与机器学习非常不同。机器学习相当成熟，应用广泛，并在现实世界中得到验证；至少在一些监督学习任务上，你可以说它在 1990 年代就达到了超人水平。博弈求解几乎还没有应用，它才刚刚达到超人水平。他希望在五到十年内看到的突破，是证明大多数军事规划或商业策略，实际上都用计算博弈论来完成。

这些策略是否可以解释，不像神经网络的权重那样难以理解？两者都有一点。纳什均衡具有可证明的性质。你不像深度学习那样，在训练前祈祷一次，拿到权重后再祈祷一次。你知道解的质量保证。但这并不意味着人能够理解这种策略。在可解释性上，深度学习与计算博弈论处境相同，只有博弈论这一侧附带保证。他承认，看到自动化系统为商业或军事行动提出候选策略，更像是一种信念，而非已经证实的事实，而且是一种乐观的信念。

在存在性风险方面，他比 Max Tegmark 或 Stuart Russell 乐观得多，认为 AI 的好处更大。他自己的工作就是例证。他的团队运营的全国性肾脏交换项目，让数百人还活着，而如果没有它，他们本不会活着。它还在交换机构、移植中心和医院创造了就业岗位：多出的外科医生、护士、麻醉师和床位。他之前一家创业公司 CombineNet 的组合式采购拍卖，在 2001 年至 2010 年间举办了 800 场大规模活动。在 600 亿美元的采购额上，它们把供应链效率提高了 12.6%，实际效率超过 60 亿美元：空车运输减少了，浪费减少了，碳足迹也变小了，这不是从一个口袋转到另一个口袋的转移。

他所说的价值错位，是一种相当理论化的担忧，他从未亲眼见到过，因为他做的大多是实际应用。最接近的一次是在 1980 年代末的一次争论，当时他们正在构建运输优化器，有人听说高资产利用率是个好目标。他甚至没把它放进求解器里，只是证明了最优解是把卡车装满，然后绕圈子开。什么都不会送到，但利用率却是 100%。他已经知道这种现象三十多年了，从未见过它真的变成灾难。给 AI 错误的目标，它会把这个目标优化到极致，造成的伤害比一个半吊子的人类更大。不过，理论上你能想象的最坏情况，与通常发生的情况之间，差距很大。

他真正排第一位的威胁是气候变化和核战争。他在两家初创公司里都推动过相关研究，寻找气候问题的市场或优化切入点。排放权市场失败，是因为缺乏政治意愿，而不是缺少更好的设计，芝加哥的那个市场也已经关停。相互保证毁灭（MAD）是一个小矩阵论证，没有人想先发动，它是一种非常粗略的分析，在只有两三个超级大国的时候还能奏效。更小型的核弹会降低门槛，较小的国家和非国家行为体可能会获得它们。他认为，现在的风险或许比以往任何时候都高。

他在 NeurIPS 上最兴奋的，是把可扩展的博弈求解带进这个领域：应用会告诉你哪些技术缺口仍需填补；同时还有更可扩展的整数规划方法。那年夏天，他的团队有一篇论文，提出了第一个带有理论泛化保证的自动化算法配置结果：用这么多训练样例、按这种方式调参，你就可以期待在一个你没见过的真实分布上获得良好表现。算法配置作为一个严肃的研究方向已经至少十七年，却一直缺少这种保证。另一个开放方向是永不重复、无限延续的扩展式博弈，比如“从此刻直到永远”的商业或军事策略，在那里，甚至判断一步棋好不好，本身就是研究问题的一部分。