Paige Bailey 带览 AI 视频、音频与应用创作

Hannah Fry 邀请 Google DeepMind 开发者关系负责人 Paige Bailey，实际演示视频、音频与应用构建工具。演示描述的是录制时的产品状态。

两人回看较早的 Veo 演示，并用相同的赛车场景提示比较 Veo 3。Fry 注意到更细致的建筑和光线；Bailey 则强调生成的声音。

Bailey 说，早期生成视频可能出现物理或光线不一致。更详细的提示可以帮助引导结果；她演示用模型把简短提示改写得更具体。

演示时，Bailey 说公开提供的 Veo 片段约为八秒。她介绍先用短片测试风格，再组合成更长片段的做法。

在赛车结果中，两人指出反射、移动光线以及轮胎和警笛等声音。他们的观察针对所示例子，并不能证明生成的物理效果或音频总是正确。

两人尝试生成多人吃意大利面的更困难场景。Bailey 说，图像也可以用作起始帧，图像模型可以在视频生成前修改该帧。

Bailey 将部分改进归因于训练时结合视频、声音和描述。Fry 描述了把树的图像、文字和周围声音等不同模态联系起来的价值。

她们观看生成的比赛，并检查面部、头发、运动和声音。Fry 特别关心物体跨帧是否保持一致；Bailey 说模型会尝试维持这种一致性。

Bailey 提到，模拟环境中的合成数据是可能的训练来源之一。她还解释，匹配音频和视频涉及多模态信息，而不是孤立处理每一种输出。

两人转向电影制作界面 Flow。Bailey 演示文本生成视频、基于帧的工作流、片段组合和镜头控制，并将其描述为比通用 Gemini 应用更专门的环境。

Fry 询问深度伪造、诈骗和虚构新闻事件。Bailey 描述演示工具中使用的过滤、限制和水印。这些是保护措施，并不能证明所有误导性输出都能被阻止。

Bailey 介绍可控制声音、语言和风格的文本转语音。她们将其与较早使用 Fry 声音制作的 WaveNet 示例比较，并讨论系统的差异。

她说，即使模型架构发生变化，早期语音研究的训练数据仍可能有用。数据可以包括文字、音频以及语气或表达方式的描述。

在 AI Studio 中，两人用友好、浪漫、愤怒和悲伤风格生成同一句话，然后尝试法语回答。她们指出其中一个结果没有完全匹配所需情绪，可以继续调整。

Bailey 说，界面可以显示通过 SDK 重现实验的代码。可用性、价格和产品控制在录制后可能变化。

她们演示一个带屏幕共享与搜索的实时助手。助手描述屏幕中的视频，再通过搜索回答创作工具问题；这个例子展示工作流程，并不保证每次描述都准确。

Fry 尝试基于摄像头的互动，并提到用它查看家中植物。Bailey 演示共享笔记本，并让助手解释可见代码。

Bailey 接着演示应用构建流程。两人描述一个虚构意大利面比赛网站，包含生成的图片和报名表；工具生成项目与预览。

生成页面采用轻松风格，包含虚构比赛亮点。Fry 和 Bailey 讨论完善结果，并在演示环境中将其部署到 Cloud Run。生成内容和代码仍需检查准确性与安全性。

Bailey 认为，自动化可能让开发者把更多时间用于想法和产品体验，同时协助维护工作。她预计创作工具能帮助更多人跨学科表达想法。

Fry 最后谈到同时看到音频、视频和语言工具的感受。她很期待尝试过去没有时间实现的想法。