唯一真正的自由，在于 AGI 如何诞生

Lex Fridman 开场先讲了一个至今仍让人吃惊的生平细节：Greg Brockman 在高中及之后不久，写过一本化学教科书，内容从原子结构一直讲到量子力学。一位朋友告诉他，这本书永远不可能出版，因为他没有博士学位。于是他建了一个网站来推广这些想法，并在这个网站上发现了编程。按他的说法，数学、化学和代码是同一件事的三种形式：认真思考，用一种晦涩的形式写下结论，然后放进人类的图书馆。

关键在于杠杆。一个证明可能只有领域里的五个人会读；一个程序则可以被地球上的任何人运行，而且能够规模化。这就是数字世界对他的吸引：一个有想法的人可以影响整个地球，而如果你要搬动的是物理原子，这几乎不可能。他曾经以为自己会成为数学家，但迭代的速度把他拉向了另一边。

Fridman 问，心智归根结底是否只是数学、只是信息处理，还是生物学里仍藏着别的什么魔法。Brockman 愿意把人类看作信息处理系统，并认为这种描述能解释很多问题。互联网的重点在于：任何一个人都能瞬间联系到另一个人，并调取人类积累下来的几乎任何一条知识。他说，这是人类能力的一次重新布线。

把同一个视角再往外推一层，社会、经济和一家公司看起来都像是比任何个人都更大的机器。公司里的人各自追求自己的目标，也认真思考什么才是正确的事，但整个公司做出的事情，却是没有任何人单独规划过的。Brockman 说，我们喜欢把自己看作地球上最聪明、最有力量的东西，但其实存在比我们更大的系统，而我们都在为它提供养分。他引用了 Isaac Asimov 的《基地》中的心理史学：面对数以万亿计的个体，你或许可以预测这个庞大的宏观存在将会做什么，而这几乎与任何个人想要什么无关。

Brockman 的第二个角度是技术决定论，他在 OpenAI 时常思考这一点。通用智能迟早会到来；真正的问题是如何把它引向更好的方向，而不是更糟的方向。作为科学家或发明者，你究竟能产生多大影响？他提到，电话是两个人在同一天发明的。如果爱因斯坦没有出生，别人也会发现相对论——也许会晚二十年，但人类不会永远错过这个真理。

所有人都站在同样的巨人肩膀上。你不可能指望创造出别人永远不会创造的东西。你或许能把时间线稍微改变一点。他说，摩尔定律就是同一事实的诡异版本：整个行业用五十年的时间，把自己的节奏定在一条指数曲线上。如果你真想产生影响，你唯一真正的自由度，就是设定一项技术诞生时的初始条件。

互联网是他举的例子。当时有不少团队在建造类似的网络，最后胜出的那一个，是由相信任何人都应该能接入网络的人创造的，他们秉持着开放与连接的学术精神。此后四十年，互联网基本就是沿着这个形状生长起来的。现在方向或许正在改变，但最初几年决定了之后数十年的进展。Fridman 补充了维基百科：如果互联网当初靠广告运营，会是什么样子？维基百科是网上最重要的公共资源之一，它运转得出奇地好，因为它的创建者设定了初始条件，之后它便自行向前发展。

Fridman 展望未来：假设你造出了一个能在自然语言中通过图灵测试（Turing test）的系统。你会问它的第一个问题是什么？Brockman 毫不犹豫。如果你造出的东西足以塑造人类的未来，那么你应该问的第一个问题，就是如何确保它的发展走向良好。Fridman 追问：你不会去问同事，不会去问 Ilya 吗？Brockman 说，这些讨论已经发生过了，和 Ilya Sutskever 以及 OpenAI 的每一个人都谈过。你要尽可能多地听取不同的视角。系统给出的答案只是一个输入，而不是你必须服从的裁决。

他把这一时刻比作核武器出现后的那几年。世界上最重要的问题变成了世界秩序将会是什么样子，以及人类如何生存下去。对 AGI 来说，问题稍有不同：你仍然要避免负面影响，但也有一个常被忽视的正面。一个能力与人类相当、而且可扩展性强得多的系统，正是你想要的：它可以阅读科学文献，寻找疾病的治疗方法，创造物质上的丰裕，还能发明可生物降解的机器人，把海洋垃圾转化为无害的分子。

Fridman 注意到，AGI 的大多数可能走向或许都是正面的，但公共讨论——包括 Sam Harris，甚至马斯克——却总是纠缠于黑暗的那一面，仿佛灾难更值得去想。Brockman 把问题分成两部分。首先，想象一个有新技术的世界本来就很难。如果在 1950 年要描述 Uber，就得先描述互联网、GPS，以及人人口袋里的手机；即便如此，这个世界在脑海里也很难安住。每一项颠覆性技术都有过这种情况，而 AGI 比它们所有的都更具颠覆性。正面的图景之所以难以描绘，是因为它依赖于太多尚未发生的中间步骤。

其次，无论是在物理世界还是在思想世界，破坏都比创造容易。要建成一样东西，每一个部件都必须正确；要毁掉它，只需要一个部件出错。许多人的思考，一旦看到负面的故事，就走进了死胡同。Brockman 仍然抱有一些希望：正面的图景是可以谈论的，只要说出正面的那一半存在，就会引起反应。人们会意识到，自己一直只盯着画面的一面。他说，这是 OpenAI 思考 AGI 的关键部分——包括一种表面上的矛盾：一边警告风险，一边又在努力建造这个系统。

Fridman 问，按 Brockman 的直觉，要让 AGI 保持在正面的轨道上、不滑向生存性威胁，难度有多大。Brockman 通过指向 OpenAI 的结构来回答。这个组织有三个主要部门：能力部门（Capabilities），负责技术工作，推动系统能做什么；安全部门（Safety），研究技术机制，使造出来的系统与人类价值观保持一致；政策部门（Policy），处理治理问题，以及由谁的价值观来决定。人们谈得最多的是技术安全。反乌托邦的 AI 电影，大多讲的就是技术安全失败的故事。

很多人看到技术安全问题，就断定它无法解决。人类想要什么，要怎么写下来？连你自己想要什么，你都写得出来吗？他们到这里就停下了。Brockman 的反驳是，我们已经造出了能够学会一些人类无法描述之事的系统。要写下如何在图片中辨认一只猫或一只狗的规则，同样是无解的，但模型却学会了。OpenAI 的安全工作仍处于早期的概念验证阶段，表明可以从数据中学习人类的偏好。他说，团队最近有一些令人鼓舞的进展。

他问，我们是如何对人类进行对齐的？一个人类婴儿可能长大成为坏人，也可能成为好人，其中很大一部分取决于从数据中学习的过程：反馈、正面的例子，以及漫长的童年。我们所知道的、从数据中学习价值观的通用智能，只有我们自己。如果机器的价值对齐问题，也是用类似的技术来解决，我们不应该感到惊讶。Fridman 提到 Yuval Noah Harari 的《人类简史》，并追问善与恶是否只是我们一致同意去相信的集体虚构。Brockman 并不需要那样宏大的框架，他把这个问题归入了政策层面。

他认为，政策是人们谈论得远远不够的一环。设想最好的情形：技术安全已经解决，系统会做操作者想要做的任何事。那么最重要的问题就变成了：操作者是谁，他们想要什么，又会怎样影响其他所有人。你不必上升到生存层面，也能感受到这种困难。看看各国和各种文化对社会应当如何运作有多么不同的构想。他具体希望的是这样一个世界：美国、中国、俄罗斯以及其他数百个国家，仍然可以按照各自认为合适的方式存在；与此同时，极其强大的系统与人类并行运转，结果是人们的生活变得更有意义，更快乐、更富足、更有成就感。一旦你真的拥有了这样的系统，要如何设计这样的世界，并不显而易见。

Fridman 引用了 Oscar Wilde 的一句话：我们都身在阴沟里，但有些人仰望星空。他问，像 OpenAI 这样的使命是如何出现的。Brockman 先从大背景讲起。六七十年来，人们一直在问：如果人类的智力劳动能够被自动化，会有哪些可能？科幻小说提供了反乌托邦，而《她》这样的电影则描绘了一幅更乌托邦式的草图。计算机和互联网的发展，已经超出了所有人的预料。他说，如果能造出 AGI，它将是人类有史以来最具变革性的技术。问题在于，是否存在一条可行的路。

经历两次 AI 寒冬之后，这个领域几乎不敢再做梦了。谈论 AGI 几乎成了禁忌。Brockman 认为，人们从历史中吸取了错误的教训。1959 年感知机（perceptron）发布时，《纽约时报》写道，它总有一天能够识别面孔、叫出名字，并即时翻译语音。同时代的人看了这个系统，说它什么都做不到，并花了十年时间来否定整个方向。他们成功了，资金随之枯竭。1980 年代出现了一次复兴，Brockman 一直听说，这次复兴是因为反向传播（backpropagation）的发明。他读了当时的文章后发现，因果关系其实是反过来的：计算能力的普及，让人们突然有能力运行更大的神经网络，大家因此兴奋，然后反向传播才被发明出来。那些“更大”的网络只有大约二十个神经元。它们当然取不到好结果。

直到 2012 年，人们在 1950 年代——在某种意义上甚至可追溯到 1940 年代，即 McCulloch–Pitts 神经元的时代——想出的那个最简单、最自然的方法，才成为解决问题的最佳途径。Brockman 列出了深度学习值得关注的三种性质。通用性：一小套工具，即深度网络加上一些强化学习，就能解决语音识别、机器翻译和游戏对弈。胜任力：四十年来的常规计算机视觉研究，被深度网络取代后表现更好。可扩展性：网络越大、算力越多、数据越多，效果就越好，而且这一点被反复证明。这三点合在一起，感觉是构建通用智能不可或缺的部分。把现有的东西继续放大，并不会自动得到 AGI；推理显然是缺失的一环。但这一次，第一次让人感到有一种范式带来了希望。

一旦你相信 AGI 可能实现，也许就在一生之内，甚至可能比人们预期的更早，你就不会再那么多地想着自己。你开始思考如何让世界走向好的方向，如何组建一个组织、聚集人才和资源，并确保如果你成功了，世界是你真正想要生活的那个世界。OpenAI 正是在这样的宏观图景下于 2015 年成立的。此后的一切，都是按与普通公司相反的顺序发生的。通常，你是从小处开始，推出产品，找到产品与市场的契合，然后融资、招人、扩大规模——接着，巨头注意到你，并试图把你扼杀。OpenAI 的顺序恰好相反。2015 年 7 月的一次晚餐上，核心问题是现在开始建立一个实验室是否已经太晚了。AI 正从学术追求转向产业追求；最优秀的人才都在大公司的研究实验室里；在科技巨头面前，OpenAI 能够聚集的任何资源看起来都微不足道；而且你需要的是五到十个人的关键规模，而不是两个创始人加一个产品。他们的结论比较保守：这件事并不明显不可能，因此似乎值得一试。

2019 年，OpenAI 成立了 OpenAI LP，这是一家利润封顶的公司，如今使用 OpenAI 这个名字，而原来的非营利组织依然存在。Brockman 说，整个实体都在努力完成同一个使命：确保通用人工智能造福所有人。实现这一目标的主要方式，是自己来构建通用智能，并把它的益处分配出去。如果别人来做，他们也乐见其成，只要收益不被锁在某一家公司或某一小群人手中。这些理念都写进了章程，也体现在 LP 的结构中。如果他们成功了，投资人可以获得回报，但回报是有上限的。AGI 所创造的价值，会比任何现有公司都高出几个数量级，而这部分盈余在法律上归非营利组织所有，用于履行使命。

在这次对话的大约两年前，他们意识到，建造 AGI 所需的资金远超一个非营利组织能够筹集的数额——需要的是数十亿美元，远非数亿美元。他们考察了市场上所有的法律结构，没有一个完全合适。Brockman 说，这并不奇怪：如果要做一项前所未有的技术，那么很可能也需要一种前所未有的结构。他们花了大约一年时间编写《OpenAI 章程》。章程的第一条写道，他们预计要调动大量资源，但会把与使命的利益冲突降到最低。先明确自己的立场，是迈向一家既能筹到钱、又不背弃初衷的公司的必要第一步。

章程同时埋下了两条路：我们主要是想自己去建造 AGI，同时，如果别人来做，我们也可以接受。对一家公司来说，这种说法很奇怪，而它正是设计 LP 时的核心张力。你需要有机会成为主要参与者，这意味着要建立组织、筹集巨额资源，并签下一段漫长的痛苦与风险——这是创业者的心态，是刻意保持竞争性的。然而，真正的使命是让 AGI 为人类带来好的结果。把押注全部压在任何一边，都是错误的答案。有一件事始终留在 Brockman 的心里：不要把话说得仿佛 OpenAI 的目标只是建造 AGI。这个目标包括安全，而且这个目标并不是要成为建造它的那一方。

Fridman 直接问：营利性公司为什么就不能对世界有益？谷歌的大部分收入来自广告，但这并不意味着它做不了好事。在他看来，利润是燃料，章程、文化和人才才决定影响。Brockman 把它视为人类社会最古老的争论之一，然后给出一个经验观察：列出世界上影响最大的非营利组织很难，而列出影响最大的营利性公司却很容易。当今世界的组织方式，让营利性公司能够自我维持，并依靠自身的惯性运转。护栏设置得不对时，就会出现伐木公司闯进雨林的情况。他说，要从营利性公司中获得正面的益处，实际上与从 AGI 中获得正面的益处非常相似：一个在许多方面超越人类、在某种程度上自主的系统，你必须为它设定护栏。非营利组织很纯粹，但发生的事情不够多；营利性公司在某些方面则发生了太多事。OpenAI 正在两者之间选择一条路。在成功的情况下，利润上限只是天文数字般价值中的很小一部分，因此投资人和员工的处境大致就像非常成功的创业公司；而受托责任指向的是章程，即便这会以牺牲利益相关方为代价。

章程写道，要避免让 AGI 过度集中权力。Fridman 问，为什么 OpenAI 自己不会保留它所造出的任何系统的全部权力。Brockman 说，从结构上看，决定 OpenAI 行动的权力，最终掌握在非营利组织的董事会手中，而董事会有责任履行非营利组织的使命。各个部件就是这样串联起来的。至于日常运作，则是另一回事。董事会在高层做决定；而真正掌握技术王国钥匙的，是员工。任何公司的价值观如何落到实处，在这里也是一样：你需要相信使命和章程的人，并愿意采取那些对自己可能更不利、但对章程更有利的行动。这一点必须长期保持，而这也是他们招聘的一部分。

在大公司里，一线员工很难走到 CEO 面前，说公司做错了。谷歌员工确实曾就 Maven 项目（Project Maven）组织过集体行动，所以其他公司可能也有自己的机制。Brockman 说，在 OpenAI，任何人都非常容易把他或 Sam Altman 拉到一旁，而且人们经常这么做。在一家小公司里，这种很低的门槛，是他认为与众不同的地方之一。

章程中的另一条，是在后期从竞争转向合作。假设技术上的问题能够解决，Brockman 认为部署阶段有两个关键问题。第一个是迈向第一个 AGI 的冲刺阶段。看看自动驾驶汽车：这是一场竞争性的赛跑，而竞争性赛跑中总会出现的情况，是摆脱安全的巨大压力。他所担心的情景是：多个团队意识到自己可以抵达终点，然后选择快的路线，因为更慢、但更能确保安全的路线会输掉比赛。

OpenAI 的承诺，是不去引发这场竞赛。如果竞赛已经在进行，而别人已经遥遥领先，他们就不会试图弯道超车，反而会与领先者合作，帮助对方成功，只要对方正在做的事符合使命。这一承诺不能是单方面的。其他认真建造 AGI 的参与者，也应该做出类似的承诺。如果每个人都相信 AGI 应当造福所有人，那么由哪家公司来建造它，就不应该重要。每个人真正应该担心的，是竞赛跑得太猛，以至于出了事。

Fridman 问，从研究到后期开发，政府应该扮演什么角色。Brockman 说，政府必须参与进来：这是一项将要塑造世界运作方式的技术。OpenAI 曾就此出席国会作证，也与议员交流过。目前传递的信息是：眼下该做的是衡量，而不是监管。主要的政策建议是，政府应当像它对美国国家标准与技术研究院（NIST）等机构那样，花时间弄清这项技术处于什么位置、发展速度有多快，并熟悉接下来可能会出现的情况。

他把问题拆开来看。对于今天的狭义应用，相应的监管机构已经存在。自动驾驶汽车归美国国家公路交通安全管理局（NHTSA）管辖；这些系统正在做人类已经在做的工作，我们也早就有了关于标准和安全的思考方式。现在就应该赋予这些监管机构相应的权力。至于 AGI，将来会有一个更合适的时机，届时会有更好的答案，同样要先从衡量开始，再思考规则。扼杀一个正在成长的领域非常容易，这一点要避免；但避免它的办法，并非抛开其他利益相关方、一味抢先冲刺。

2019 年 2 月，OpenAI 发布了 GPT-2 的论文，但没有发布完整模型，理由是担心被滥用。Brockman 把视角拉远：语言建模显然正沿着一条轨迹前进，在这条轨迹上，规模扩大会带来质的提升。GPT-2 是对上一年 6 月发布的模型的放大版；规模更大后，它突然能写出连贯的文字，这是他们之前没有见过的。接下来是 10 倍、100 倍、1000 倍，没有人知道会得到什么。对那个 6 月的模型，他们认为它是学术性的成果，其积极价值远大于可能的风险。GPT-2 的能力已经足够实质，因此必须在两者之间划出一条线，安全也必须开始被认真对待。

在公司内部，这个决定本可以朝任何一个方向走。在他们宣布不发布该模型之后，有人说显然应该发布，也有人说显然不该发布。Brockman 认为，这种分歧几乎可以肯定地说明，暂不发布是正确的：如果一件事是否有益并不明显，那么大概应该默认保持谨慎。未来的模型——可能比人们预期的更快到来，因为扩大规模用不了那么长时间——你肯定不会想把它们放到野外去。GPT-2 是一个更深层问题的试验案例：一个社会如何从对负责任的披露毫无概念（为了安全而扣下一个模型，这种想法对它来说十分陌生），走到一个人们手里有强大模型、并且至少会去考虑这件事的世界？安全社区花了多年时间才建立起这种规范。他说，AI 领域还完全没有这些规范。潜在的危害包括有偏见的训练数据，以及生成的假新闻或辱骂内容；好处则包括科幻作家把模型当作创作工具。两者都很容易想象。这次演练的意义，在于过程本身。

Fridman 为一个充斥着更聪明的假新闻和联网机器人的世界，勾勒出两种未来。一种是人类总能发明出区分机器人和真人的系统；另一种是我们接受自己身处合成文本的海洋之中。Brockman 提到一个梗图：一只机械臂点击“我不是机器人”。他说，试图区分机器和人类，归根结底是一场必败之战。过去的验证码（CAPTCHA）只是一张带有几处瑕疵的简单图片，因为 OCR 技术很差；如今他自己几乎都难以完成这些验证。验证码只是一个特定时期的小把戏。随着 AI 越来越强，对人类来说容易、对机器来说不可能的任务会越来越少。

希望并未消失，但方向必须改变。与其验证内容本身，不如验证内容的来源，例如用社会安全号码等方式，把现实身份与数字身份绑定起来。代价是隐私和匿名性。如果唯一可信的内容，是可以追溯来源的内容，那么匿名性还能如何存续？声誉网络或许是一种答案，但他并不假装答案显而易见。今天，他读到一条推文时，仍然能感觉到是真人写的。这种感觉终将失效。研究人员用统计方法证明，美国联邦通信委员会（FCC）收到的数百万条关于网络中立性的意见，有很多是自动生成的。当统计方法也不再奏效，而最具说服力的论点都由 AI 写成时，该怎么办？他说，这已经不再是科幻了。

Fridman 把问题倒过来问：与 AI 互动本身为什么就是问题？为什么想法不能来自在人类数据上训练的模型？Brockman 在欺骗这件事上划了一条硬性的界线。一个 AI 假装成人类、骗过你的图灵测试式设置，让他觉得不对。人们需要感到自己掌控着周围的环境，并且知道自己是在与 AI 交谈，还是在与人交谈。另一面，他能接受。他回到《她》：这部电影一开始问虚拟关系能有多大意义，然后把你吸引进去，直到每一个情感按钮都被按下，就像电话另一端真的是一个人一样。一个好笑的笑话，有时并不在乎是谁写的。他说，之所以要造 AI，是为了提升人类的生活，让人们能做更多的事，并感到更加充实。如果系统能做到这一点，那他就很愿意加入。

Fridman 问，无监督语言建模离图灵测试式的对话还有多远。Brockman 说，真正的图灵测试，关键在于推理，而不在语言本身。要真正通过，它应该能向对面的人讲授微积分，让对方理解，并解答新的微积分题目。语言模型做不到这一层；你需要某种方式把推理接入进去。这需要一连串激进的新想法，还是对现有系统做些小幅改造，仍是一个悬而未决的问题。模型的进展已经远超许多人的预期。GPT-2 或许不懂水下的火，但它知道烟来自火；这些知识是从静态文本中学来的，它没有身体，也没有任何物理经验。

把 GPT-2 规模扩大到足够大，推理能否从同一机制中涌现出来？他认为不太可能。类型签名（type signature）有点不对。人类会花费不定量的算力，以获得更好的答案：多想一会儿，就能得到更好的答案。语言模型中没有编码这种签名；它把自己的“进化史”用在把预测做得非常好上，然后在运行时只做一次前向传播。也许会有一些小修改：生成一整串思考，只保留最后一小段，也就是你所收敛到的那部分。至少，他预计会有类似的改变。另一个缺失的部分是分布外泛化（out-of-distribution generalization）：遇到从未经历过的事物，仍然能不断完善自己的心智模型。这似乎与推理本身是什么有关。它可能只是一个小修改，也可能需要数十年的新想法。

Fridman 提到 Richard Sutton 的一篇博客文章：七十年 AI 研究最大的教训是，能够利用算力的通用方法，最终会胜出。Brockman 觉得这种反应很有意思。许多人把它读成“算力才是唯一重要的东西”，感到受威胁，而他并不认为这种理解是对的。算法上的想法非常重要；要构建 AGI，你希望把计算规模和人类的独创性都推到极限。有用的问题是：应该追求哪一类想法。如果你能找到一种可以扩展的想法——算力增加、数据增加，效果就随之变好——那就是圣杯。这正是他对深度学习作为通往 AGI 之路感到兴奋的原因：最成功的系统，一旦放大，效果就更好。

Fridman 把情绪上的异议摆了出来：堪萨斯州的一个十三岁少年，可能只有一块 GTX 1080 显卡，甚至根本没有 GPU。如果规模才是关键，这个人该如何做出贡献？算法应该普及，算力是否也该同样普及？Brockman 把进展的空间一分为二。其中一部分越来越大，确实需要海量算力；这正是 OpenAI 要推动规模和集群扩展的原因。另一部分则不需要。真正出色的想法，在规模扩大后应该会表现得好得多，但你不需要海量资源就能发现它们。生成对抗网络（GAN）和变分自编码器（VAE）是近期的例子；实际上，人们在没有庞大集群的情况下就想出了它们，尽管 GAN 最初生成的图像相当糟糕。Ian Goodfellow 足够聪明，知道这条路会行得通。这里还有一个个人的取舍，Brockman 用哈佛大学系统学教授 Matt Welsh 来说明：拿到终身教职后，Welsh 去谷歌待了一个夏天，之后就再也没有回去。因为作为研究者，他能期望的最好结果，就是谷歌或雅虎把他的概念验证拿去，真正做到规模化运行。你可以是发明 GAN 的那个人，却永远生成不出最酷的图像。两边都有价值。有时候，小规模的工作已经显示出了希望，就像最初的 GPT 在 2018 年 6 月那样。有时候，附带一个很大的星号：会出现与小规模时所见截然不同的行为，原始的发明者看到它们，会说自己没想到它能做到这一点。

那个星号指的就是 Dota 的故事。近端策略优化（PPO）是 OpenAI 研究员 John Schulman 创造的。为了 Dota，他们在巨大规模上运行了这个算法，并加上一些工程上的调整，结果得到了一种他们原本认为不可能的长时程规划能力。Schulman 看到后说，他没想到它能做到这一点。规模高出三个数量级，正是其中的区别所在。OpenAI 选择 Dota，是因为相比国际象棋或围棋，它更接近真实世界：时间是连续的，动作空间巨大，一局游戏要四十五分钟，单位众多，还有许多以往游戏未曾涵盖的混乱。所有手写的 Dota 机器人都很糟糕，因为这个游戏太复杂，无法手工编写。在他们看来，这是推进强化学习前沿的好地方。

他们先从一对一开始，使用自我对弈（self-play）：两个一无所知的智能体互相对战，其中一方发现了一点点好的东西，双方随即都掌握了它，然后它们可以不断变强。他们击败了世界冠军。技能曲线是一条干净利落的指数曲线；人类那种不断扩大规模、修复漏洞的迭代循环，带来了非常稳定的进步。接着，他们扩展到五对五，也就是篮球式的玩法，需要团队配合，并把同样的自我对弈思路推进到职业水平。Brockman 把这些智能体比作昆虫的智能。昆虫在它的环境中生活很长时间，把大量经验固化进了自己的身体里；它们学不会微积分，却能极好地穿行于那个环境中，包括它们从未见过的事物。Dota 机器人就是这样：它们与人类对战，而人类从未存在于它们的训练环境中，打法也完全不同，但它们依然应付自如。这种能力，在小规模的 PPO 中是不会出现的。这次运行使用了约十万个 CPU 核心和数百块 GPU，每个真实的日子，都向机器人灌入大约相当于数百年的经验。

在 The International 赛事上，他们登台对阵世界上最好的一些队伍，两局都输了，但每局都打了二十五到三十分钟，你来我往。在 Brockman 看来，这已经体现出职业水准；运气若是换个方向，结果可能就不一样了。比赛日期是固定的，所以他们事先尽可能地把能力推到了最高。两周后，他们的机器人对阵在 TI 上亮相的那个版本，胜率约为 80%。应当把这场比赛看作一张快照，而不是终点。很快他们就会宣布将与世界冠军进行决赛，作为最后一个具有竞争性的里程碑，这很可能发生在这期播客发布之前。这个项目的目标，实际上是推动强化学习。击败人类 Dota 选手，从来不是它真正的目的。他说，这一点他们已经做到了。

问到深度学习和强化学习接下来会走向何方，Brockman 坚持认为，靠的是想法加规模，而不只是规模本身。OpenAI 有一套项目生命周期。先由几个人从一个小规模的想法着手——语言研究在很长一段时间里就是这样，实际上只是一个人在推动。当出现初步迹象时，就像最初的 GPT 那样，然后再投入更多的人手和算力。最终的样子像 Dota 或机器人项目：一支十到十五人的团队，工程与机器学习科学融为一体，取得在其他情况下不可能实现的成果。一个周期通常是一到两年；这家组织刚满三年多一点。一个新的推理团队刚刚启动，由 Ilya Sutskever 发起，目标是让神经网络学会推理，预计会是一项长期工作。能让他印象深刻的测试，包括逻辑，尤其是数理逻辑，还有抓住同一核心的对偶问题：编程，甚至代码的安全分析，以及分布外泛化。Fridman 开玩笑说，如果团队能证明 P = NP 就好了。Brockman 说，那会非常、非常令人兴奋，尤其是如果结果真的表明 P 确实等于 NP。就 2019 年而言，他还不指望推理方面能有好结果。语言建模正是那个刚刚起步的方向，一种已经行得通、可以随时扩大规模的技术。

我们是否生活在模拟之中？Brockman 把问题分成两类：一类能对世界做出实质上不同、可以检验的预测；另一类则只是有趣的推测。对他而言，模拟假说更接近于问火星和木星之间是否漂浮着一只飞行的茶壶。也许有，但很难知道这对他的生活意味着什么。至于把模拟当作工程手段，则是另一回事。OpenAI 的机器人手 Dactyl 就是在模拟环境中、借助 Dota 系统训练出来的，然后被迁移到一台真实的机器人上。有人看到 Dota 的工作，会说那只是一个游戏，你要怎么才能逃进真实世界？答案是，他们已经做到了，而且对象是一只没有人能直接为它编程的实体机械手。只要用对了技术，模拟能走的路比你想象的要远得多。模拟之中的存在是否会醒来、拥有意识，则是一个难得多的问题。

Fridman 问，创造通用智能是否需要意识、身体，还是两者都不需要。Brockman 先给出不那么宏大的回答。看看已经奏效的东西。很多人会说，你需要现实世界的经验、身体、与现实的联结——否则你怎么会知道烟和火？GPT-2 表明，你可以走得比那种推理所预测的远得多。那么，我们究竟需要意识，还是需要身体？可能都不需要，至少对他们现有的系统来说不需要。这些系统在某些维度上已经显得通用，虽然能力和学习速度都不及 AGI 应有的水平，但在某种意义上已经是原型 AGI，而它们并不需要上述任何一样东西。

接下来是宏大的那一半。如果神经网络已经有了意识，我们会知道吗？动物似乎处在一个连续的谱系上：他家的猫以某种方式有意识，只是没有人类那么有意识。你可以想象一个意识计，对猫显示一个小读数，对人则显示一个大得多的读数。把它对准一个神经网络。如果你在训练一个大规模的模拟，这些网络会不会感到疼痛？人们很难确定答案是否定的，而如果答案是肯定的，又很难想清楚这意味着什么。一种可能的说法是：人类之所以有意识，是因为它是一条方便的计算捷径。一个必须避开疼痛、进食才能生存的存在，最经济的实现方式，也许就是成为有意识的存在。如果这是真的，那么我们也应该预期，真正能力很强的强化学习智能体，也会具有某种意识。这是一个很大的“如果”，而且也有相反的论证。Fridman 说，甚至 GPT-2 也具有某种程度的意识，这种想法也许没有听上去那么疯狂——更像是我们今天已经在谈论狗、猫和人类的智能那样。

最后一个问题，问得很轻松：我们会不会像《她》里那样，爱上某个 AI，或者某个 AI 爱上人类？Brockman 说，他希望会。Fridman 说，没有比以爱作结更好的收尾了。