Matthew Berman 评析电影创作者对 Sora 的早期实验

OpenAI 分享了新的 Sora 视频，并向导演、艺术家等创意从业者征求反馈。我想看看他们创作了什么、哪些地方很有前景，以及创作者如何使用这个模型还存在哪些问题。

导演 Paul Trillo 制作了一段风格化影片 The Golden Record，想象了一场从地球原材料到记录人类生活的时间胶囊的旅程。他说自己把 11 次不同的 Sora 生成结果剪辑在一起，探索这场想象中的漫游。成品是一段经过剪辑的影片，而非一次不中断的生成。

接下来是一部由电影制作团队 shy kids 创作的影片。片中的气球头角色说，身体充满热空气带来了种种困难，从大风天到一次不太明智的仙人掌商店之行。他还说自己以不同的方式看待世界，并因此意识到生命的脆弱。

创作者说，Sora 生成逼真画面的能力令人印象深刻，但让他们尤其兴奋的是创造超现实事物。我认为这是一个反复出现的主题：生成视频不仅能模仿现有现实，还能制作可能难以想象或拍摄的画面。

随后是另一段风格鲜明、画面变化引人注目的短片。我还展示了 Native Foreign 的 Nik Kleverov 的作品，其中有一位在细致的工作室里工作的钟表匠。我对画面细节以及物体在场景中似乎保持连贯的表现印象深刻，但几个例子无法证明所有生成结果都可靠。

还有几个示例探索了不寻常的材质和形态，包括看起来像彩色玻璃制成的衣服。其中一段画面的纹理让我感到不安，所以我提醒对密集图案敏感的观众。这些场景展示了如何用模型探索视觉创意，而不只是再现传统镜头。

另一位艺术家 Don Allen Stevenson III 展示了一组想象中的混合动物，包括长颈鹿火烈鸟、会飞的猪、鲸鱼章鱼和鳗鱼猫。旁白将这些生物描述为想象中平行世界的居民。

系列继续展示兔子犰狳、结合马与苍蝇特征的生物、爬行动物袋鼠以及狐狸乌鸦。这些奇特组合正是重点：视频将可辨认的动物特征赋予现实中并不存在的生物。

最后一个艺术家示例来自雕塑家、OpenAI 驻留艺术家 Alex Reben。在这段 2024 年 3 月的视频中，我预计 Sora 当年不会发布；这是我的推测，并非已经公布的计划。我猜团队正在同时考虑创意潜力与可能的危害，包括深度伪造。

我也想知道视频生成能否朝着可以预测现实某些方面的世界模型发展。这是一种可能性，但这些片段并不能证明它已经实现。在更早的示例中，一辆超级跑车在雨夜的城市街道上行驶；场景让我印象深刻，虽然我注意到阴影看起来有些奇怪。

我想象未来的电子游戏可以边玩边生成，前提是有足够的算力。这是一项推测中的应用，而不是这里展示的功能。另一个由 Tim Brooks 发布的示例带观众穿过一座博物馆，里面陈列着各种风格的绘画、雕塑和艺术品。

Sean Ralston 发布的另一个示例描绘了一只蜜蜂穿过花田。画面很出色，但我注意到蜜蜂身后有一个白色小物体，看不出是什么。评估生成场景时，即使整体效果令人信服，这些细节也很重要。

我提到了一篇帖子，它总结了在 Berkeley 举行的关于 Sora 技术的演讲。帖子将涌现的模拟能力主要归因于算力和规模，而非明确的归纳偏置。这是对演讲的概述，不应将这种解读当作模型能准确模拟物理现实的证据。

这一说法与 Yann LeCun 在另一次访谈中的观点形成对比：他认为仅靠扩大规模不足以让语言模型成为世界模拟器。我把 Sora 示例看作这场讨论的一部分，也想知道进一步扩展规模是否能支持更真实的模拟；结果仍是一个开放问题。

一组对比展示了在基准、4 倍和 32 倍算力下生成的小狗视频。基准画面难以辨认，4 倍算力的示例可以看清但仍很模糊，而 32 倍算力的示例在我看来清晰得多。这只是对特定样本的示意性比较，并不能证明最佳样本毫无瑕疵或普遍无法与现实区分。

我想看看 64 倍或 128 倍算力下会发生什么。目前，这些示例展示了演示中的视觉质量可以变化得多快，但成本、可靠性、创作控制和安全部署等问题仍然存在。