Google Genie 与生成交互世界的设想

我想象这样一个未来：一个人描述自己想要的游戏或电影，AI 就为其创建个性化体验。这可能改变工作室的工作方式，但完整 AAA 游戏或电影将在不久的未来按需生成，是我的预测，并非这段 2024 年 2 月视频展示的能力。

OpenAI 早期 Sora 示例展示了令人印象深刻的文生视频能力。我将它们描述为展现了对物理规律的理解和对象一致性，但看似真实的片段不能证明它具备完整或可靠的物理模型。这些精选视频是演示，系统仍可能出现视觉和物理错误。

Google DeepMind 推出了 Genie，这是一个研究模型，可根据图像生成类似视频、能够由动作控制的环境，输入包括合成场景、照片和草图。它不是构建一套具有明确规则的传统游戏引擎，而是根据学习到的潜在动作预测视觉帧。初代研究主要展示简单的平台游戏式环境。

我想象 Sora 生成的场景通过 Genie 变成交互游戏。这是对未来组合的设想，而非已经演示的端到端产品。早期 Genie 研究不能证明它可以生成可投入生产的游戏、实现不受限制的 3D 交互，或确保每个生成环境中的物理规律都正确。

团队从视频中学习动作表示，无需真实动作标签，使模型可以逐帧响应动作。论文的初始数据集合超过 20 万小时，但主要平台游戏模型使用了过滤后的约 3 万小时数据。没有动作标签并不意味着系统无需视频数据或任何预先设计的选择就能学习。

研究人员还在没有动作标签的机器人视频上训练了一个较小的 25 亿参数模型，报告称对应的潜在动作会产生相似回应。这提示了具身智能体的一个可能研究方向，但不能证明通用机器人控制器已经实现，也不能证明结果已成功迁移到物理任务。

演示包括对可变形物体变化的预测。这些生成帧可能看起来像物体操作，但视觉上合理不等于物理模拟准确。我将这项工作与合成数据和机器人训练联系起来，而这些领域仍需要真实世界测试。

Genie 论文介绍了一个 110 亿参数模型，包含视频分词器、动力学模型和学习到的潜在动作。早期交互系统约以每秒一帧运行，上下文有限，也可能生成不符合现实的后续画面。不应将这项研究结果与流畅、完整的商业游戏混为一谈。

我讨论了视频模型的扩展，并将其与 Sora 联系起来。Transformer 架构是这些系统的一部分，但仅有共同组件不能证明模型的工作方式完全相同，也不能保证扩展会带来某种特定结果。

作者描述了如何在训练视频没有动作或文本标注的情况下控制生成帧。结果仅适用于测试的数据集和演示。称可能的输出范围“无穷无尽”是在描述生成的多样性，并不保证每个提示词都能得到连贯、完全可交互的世界。

我想象将视频生成、类似 Genie 的交互和 NVIDIA 研究人员研究的模拟智能体结合起来。这是一条设想中的流程，而非视频展示过并证明可行的集成方案。创建虚拟环境并不能证明我们的宇宙是一个模拟。

我还展示了 ElevenLabs 为 Sora 片段添加生成声音的例子。在这次展示中，音频与视频生成是独立演示。它们不能证明存在一个音频、视频与交互控制同步且物理准确的单一系统。

我预测，面向单一观众的个性化游戏和电影可以快速制作，并担心这对大型制作团队的影响。这是对未来技术和经济的预测，而非所展示原型已经证明的结果。

电影人 Tyler Perry 告诉《好莱坞报道者》，他在看到 Sora 演示后暂停了一个价值 8 亿美元的工作室扩建计划，并表达了对就业的担忧。他还介绍曾在两部作品中使用 AI，避免耗时的老年妆。这一判断反映了行业的反应，但不能证明现在已经可以可靠地生成整部电影。

接着我讨论 Gemini 1.5 Pro 公布的 100 万 token 上下文窗口。一段演示将 Three.js 代码、文档和示例载入上下文，让模型回答问题并建议修改。长上下文可以让模型获得更多材料，但不能保证它正确使用每一部分。

在这个例子中，用户询问一段动画，并请求代码添加滑块以调整速度。另一张图帮助识别一个演示并建议修改地形。这些例子展示了对现有软件库的辅助，而非证明 Gemini 可以直接控制任意生成世界。

我想象将这些工具与虚拟现实硬件结合，让人们描述并进入一个能够响应的世界。这仍是对未来体验的设想，面临集成、一致性、延迟和算力等挑战。这里的演示没有展示一个与现实无法区分的完整系统。

我还介绍了 AI Reality TV，一个由 AI 驱动角色组成的小型虚拟小镇。我将其与早期 Generative Agents 研究联系起来：后者在沙盒中放入 25 个智能体，研究可信的个体与社会行为。这类模拟交互不能证明角色具有人类体验或独立生活。

在展示的项目中，观众可以查看角色、近期活动和对话。我展示了一个角色的资料以及另外两个角色之间的对话。这些是应用显示的输出；视频没有独立验证其是否持续运行，也没有核实每次交互背后的实现方式。

最后，我结合生成场景、智能体和交互控制的设想，询问一个足够令人信服的虚拟世界是否会与现实有所不同。这是一个哲学问题。这些演示不能证明仿真假说，也不能确定我们的世界是由另一个系统创建的。