GameNGen：用扩散模型模拟 DOOM

NVIDIA 首席执行官黄仁勋曾描述过一个游戏像素由模型生成的未来。想象一下，游戏可以为某个玩家交互式地生成。2024 年 8 月，一项名为 GameNGen 的研究初步展示了这一构想的一部分：它用神经模型模拟经典游戏 DOOM。这项实验基于现有游戏，并不是一个已经能够按需创建任意游戏的系统。

1993 年发布的 DOOM 是一款具有里程碑意义的游戏，也常被喜欢在奇特设备上运行软件的人拿来尝试。我见过它运行在手机、价格查询器甚至验孕棒上的例子。由于大家熟悉它的画面，研究人员的模拟版本也更容易与原作比较。

传统游戏使用代码和制作好的素材实现规则、呈现场景。程序化生成则加入算法，根据规则创建关卡或世界，例如 Diablo 和 No Man’s Sky。我认为，通过学习生成画面可能是下一步，尽管传统游戏也可以结合手工制作和程序化生成的元素。

文生图和文生视频模型展示了模型如何根据提示词生成视觉内容。我对 OpenAI 的 Sora 演示，以及生成更连贯视频的可能性感到兴奋。但看起来像游戏的视频并不自动具有交互性，这些示例也不能证明其中的物理效果始终准确。

论文《Diffusion Models Are Real-Time Game Engines》介绍了 GameNGen。研究人员展示了一种可玩的 DOOM 模拟：神经模型响应操作，连续生成画面。在这个模拟中，敌人、走廊和界面元素都是合成的，而非由原版 DOOM 渲染器绘制。

这篇 2024 年的论文报告称，系统在单颗 TPU 上可以超过每秒 20 帧的速度模拟游戏。TPU 是专为机器学习设计的处理器。这是特定测试配置下的结果，并不能证明现代商业游戏可以在普通消费级设备上以同样方式运行。

在每一步，模型都会根据一系列先前画面和操作预测新画面。训练分为两个阶段：强化学习智能体先学习游玩有代码的原版游戏，过程被记录下来；随后扩散模型利用这些观察和操作学习生成下一帧。模型继承了原游戏和人类构建的训练流程中的信息。

我设想未来人们只需描述想要的游戏或节目，就能获得为自己定制的体验。这可能改变内容的创作和消费方式。GameNGen 并没有展示这种不受限制的文字生成游戏能力；它展示的是从特定游戏中学习而来的交互式模拟。

我还猜测，这类系统可能改变编程，或许会减少对某些开发工作的需求。再进一步，人们也可以想象模拟现实世界，这会引出让人联想到《黑客帝国》和模拟理论的问题。这些都是我的预测与推测，并非 DOOM 实验证明的结论。

研究人员使用了增强版的 Stable Diffusion 1.4 模型。模拟可以近似呈现弹药与生命值计数、攻击敌人和开门等状态更新，但并不是精确复制。有些状态保留在生成画面的像素中，模型则从近期上下文推断其他信息；论文没有展示传统的持久化游戏状态数据库。

作者将 GameNGen 定位为一种概念验证：交互式游戏可以由模型权重来表示。他们认为，修改现有游戏、根据画面创建新关卡或依据示例图像创建角色，可能在较短时期内实现。这些应用是提出的未来工作，并非 DOOM 演示已经证实的功能。

论文指出一个重要限制：模型只能获取略多于三秒的历史。有些状态可以保留在可见画面中，但事件一旦超出这段上下文，模型就可能作出错误猜测。训练智能体也没有探索所有地点和交互，因此在陌生情境下可能出错。

画面中可以看到瑕疵和不一致，例如面部细节闪烁和计数错误。更长的记忆、更好的稳定性、更多数据和算力或许有帮助，但即便是生成全新游戏，也仍然需要保持规则和状态的一致性。这些依然是研究挑战，而不是已经解决的工程问题。

我预测，生成式体验最终会进入游戏、电影、音乐和软件界面。我想象自己可以直接向 AI 请求所需的界面和数据，而不是依赖传统应用程序或操作系统。这是对未来的宽泛设想；GameNGen 实际测得的结果，是论文中范围更窄的 DOOM 模拟。