Jim Fan 的基础智能体愿景：技能、机器人身体与仿真

Matthew Berman 介绍 NVIDIA 研究员 Jim Fan 的一场 TED 演讲，主题是能够在物理和虚拟环境中行动的智能体。Fan 回忆了 2016 年观看 AlphaGo 击败李世石，并将这一重要成果与 AlphaGo 的专门性作对比：它能下围棋，却不能自动完成烹饪或洗衣等无关任务。

Fan 的目标是更通用的智能体：它们能够学习多种技能、控制不同身体，并在虚拟和物理环境之间工作。他用这三个维度组织研究领域。这是一项研究愿景，并不是说这样的通用系统已经存在。

第一个例子是为探索 Minecraft 而开发的 Voyager 智能体。Berman 展示论文中随时间发现物品的比较图，强调保存技能的好处。图表覆盖的是有限实验，不能证明无限学习，也不能证明 Voyager 是第一个使用工具的智能体。

Voyager 包含自动课程、迭代提示机制和可执行技能库。它为任务编写代码，观察执行错误和游戏反馈，修改程序，并保存成功的技能供以后复用。论文报告了在 Minecraft 中与所选基线的比较，并未更新语言模型的参数。

Fan 解释说，Minecraft 的开放世界让智能体能够在较长运行过程中探索、收集资源、与怪物战斗并制作物品。社区开发的 JavaScript API 将相关游戏信息转换为文本，并执行生成的代码。系统通过查询使用 GPT-4，其能力取决于接口、提示、环境和实验设置。

反馈包括程序错误、智能体状态和附近环境状态。Voyager 利用这些信号修改尝试，然后把有用程序保存到技能库。Berman 认为可复用技能与记忆是未来智能体有前景的组成部分，但它们本身不能证明通用智能。

Fan 举例说，智能体感到饥饿时会考虑附近实体，并先复用已有的造剑技能，再尝试捕猎猪。一个高层目标鼓励它获得不同物品，课程则提出逐渐变化的挑战。这说明了系统的任务分解方式，并非对其具有人类式理解的独立证明。

下一个维度是身体形态。Fan 介绍斯坦福研究项目 MetaMorph：它使用 Transformer 控制许多模拟机器人形态。机器人形态作为控制器的输入，控制器输出运动动作。论文报告了模块化机器人设计空间内的泛化与迁移，而非已经在所有实体机器人上验证的控制器。

Berman 将其与此前使用语言模型和机器人指令库的研究进行比较。Fan 设想，使用更丰富的身体形态词汇，未来或许能扩展到手、人形机器人、机器狗和无人机。这种更广泛的覆盖是超出所示具体实验的目标。

接下来，Fan 介绍 NVIDIA 的 Isaac 仿真工作。他描述加速物理仿真，并展示运动训练和生成多样化视觉环境的示例。Berman 看到了连接多种技能和多种身体形态的可能，但仿真平台本身不会自动把它们组合成通用智能体。

Fan 介绍加速训练的例子，并解释逼真的渲染和环境变化为什么有助于训练视觉与控制系统。Berman 认为足够真实的仿真可能帮助机器人适应现实。在实践中，外观只是问题的一部分：动力学、传感器、硬件和意外情况的差异仍可能使仿真到现实的迁移变得困难。

Fan 提出，接触大量模拟环境的智能体或许能泛化到新的物理环境。Berman 将此与我们自身现实可能是模拟的哲学观点联系起来。这属于推测；能够创建更好的模拟，并不能证明我们生活在模拟中。

设想中的基础智能体将身体形态与任务描述作为输入，输出行动，并在许多环境中训练。Fan 将这个概念与语言模型跨文本任务扩展作类比，设想多种自主系统共享同一个基础。演讲提出的是未来研究目标，而不是已经展示具备这些能力的单一系统。

Berman 最后介绍 Eureka：它用语言模型生成强化学习的奖励代码，而不是直接手工编写每个动作。在研究团队包含 29 个模拟任务、10 种机器人形态的测试中，生成的奖励在 83% 的任务上优于所比较的专家手写奖励，报告的平均归一化提升为 52%。团队还展示了模拟转笔；这些数字只适用于该评测。

Berman 展望了动画和媒体领域未来的应用，并邀请观众思考这些方法的结合是否可能通向 AGI。他对通用智能和取代创意工作的判断是预测，不是所讨论实验已经证明的结果。