Matthew Berman 评述 EMO 音频驱动人像视频研究

当看似真实的视频不再能证明画面中的人说过或唱过音频内容时，会发生什么？我以一些看起来令人信服、实际上是合成的生成式人像示例开场。这项技术引出了人们如何判断网上所见内容真实性的问题。

Alibaba Group 的研究项目 EMO 全称为 Emote Portrait Alive。它接收一张参考图像和人声音频，生成看起来在说话或唱歌的人像视频。示例包括一张老电影画面、《蒙娜丽莎》、Sora 视频中的 AI 生成角色和一个插画角色。画面中的表演是生成的，所描绘的人不一定实际说过提供的音频。

项目图示展示的不只是嘴唇运动：表情和头部姿态也会随着音频变化。一个比较用同一张图像展示唱歌和说话。另一个示例将单独的声音来源应用到 Sora 中的合成女性角色上，在选定演示中生成了看起来令人信服的说话人像。

架构图展示了参考帧和运动帧的编码，以及音频特征、面部区域信号、带噪潜变量和头部速度信息。扩散网络生成视频帧，再与提供的音频结合。这是作者的研究架构，不能证明每种输入都能生成完美视频。

论文介绍了一种直接从音频生成视频的方法，避免使用中间 3D 模型或面部关键点。作者称生成时长可以随输入音频长度变化。这是关于该方法的研究主张，并不保证时长无限，也不保证所有输入都有一致的质量。

核心问题是音频与表情之间的关系。兴奋的声音可能伴随扬眉或不同的头部姿态，但音频并不能唯一决定面部动作。作者希望生成合理的表情和具有个性的面部风格，而不只是匹配嘴部运动。

研究人员认为，直接合成省去了某些方法使用的中间表示和复杂预处理。这不应理解为整个流程完全不需要任何准备。他们的见解是，人声音频包含有助于判断表情的线索，即使二者之间的映射仍有歧义。

这种歧义可能导致帧间抖动、面部扭曲，甚至视频崩坏。论文引入速度控制器和面部区域控制器来提高稳定性。这些控制旨在减少伪影并保留表现力，不能保证生成的动作完美无缺。

作者报告，训练使用了超过 250 小时的音视频素材和超过 1.5 亿张图像，包括演讲、影视片段以及多种语言的歌曲。论文使用若干定量指标将 EMO 与此前的人像说话生成方法比较。这些结果反映的是研究选用的数据集和测量方式，而非普遍排名。

局限不容忽视：扩散方法比不使用扩散的方法更耗时，缺少明确的身体动作控制可能导致意外生成手部或其他伪影。作者提出，使用针对身体部位的控制信号可能是一种解决办法。我播放更多生成示例，展示结果。

接下来，我转向 NVIDIA 首席执行官 Jensen Huang 讨论编程的一段讲话。Huang 认为，计算应该能够通过人类语言使用，让生物学、教育、制造和农业等领域的专家也能应用它。他强调提升技能和解决领域问题。

我仍打算教孩子编程，因为它有助于培养系统性思维和解决问题的能力。我的预测是，随着自然语言界面进步，我们熟悉的编程方式会发生变化，而不是说所有技术问题都已经解决。学习如何提出和解决问题仍然有价值。

我将这一预测与视频生成、游戏、虚拟形象和机器人领域的研究项目联系起来：过去困难的任务正变得更容易借助 AI 工具开展。EMO 就是一个将参考图像和音频转化为生成动作的例子。我仍鼓励初学者学习基础编程，以培养系统性思考的习惯。