30 秒看懂
在这期 2023 年 10 月的新闻汇总中,Matthew Berman 讨论了 Disney 富有表现力的机器人、Adobe 生成式工具、ElevenLabs 配音、Amazon 卫星原型、OpenAI 开发者计划、芯片报道、Meta 水印与贴纸、Show-1、有争议的 AI 训练数据,以及 Wayve 的 GAIA-1。 视频混合了产品公告、报道中的计划、推测和个人观点。Adobe 提议收购 Figma 的交易当时尚未完成,后来被终止;研究演示和历史性能声明不能视为保证。
- 1Disney 机器人研究团队结合模块化硬件、动画和强化学习,创造富有表现力的动作。
- 2Adobe 生成式工具Berman 讨论 Firefly、Illustrator 和 Project Stardust 演示;拟议中的 Figma 交易当时尚未完成。
- 3语音配音ElevenLabs 推出多语言配音工具,能够保留声音特征并处理多位说话者。
- 4OpenAI 开发者计划Berman 讨论有关 API 降价和视觉工具的报道,以及自己使用 AutoGen 的费用。
- 5水印和贴纸Meta 的研究旨在追踪生成图像,而有关其贴纸工具的报道引发了对问题输出的担忧。
- 6Show-1 与 Books3Berman 回顾文本生成视频研究,以及 AI 训练中使用书籍所引发的争议。
- 7合成驾驶数据Wayve 的 GAIA-1 提议生成驾驶场景;Berman 权衡其潜力和合成数据面临的问题。
要点建议
- Disney 的研究机器人将富有表现力的动画与基于强化学习的运动流程相结合。
- Adobe 展示了生成图像、矢量图和照片编辑工具,ElevenLabs 推出了多语言语音配音。
- OpenAI 的定价和芯片计划、NVIDIA 硬件以及 Amazon 卫星部署均作为 2023 年的报道或未来计划讨论。
- Meta 的 Stable Signature 旨在帮助追踪生成图像,但不能保证水印在每种变换后都能被检测到。
- Show-1 团队的显存比较针对特定的像素模型,并非所有竞争的视频生成器。
- Books3 的版权争议和合成驾驶数据的价值仍是开放问题。
按章节阅读整理后的全文
Disney 机器人与 Adobe 工具
Berman 回顾一款富有个性的研究机器人和 Adobe 的生成式功能。他讨论拟议的 Figma 收购和 Project Stardust。
这期 2023 年 10 月的汇总涵盖 Disney 的表现力机器人、Adobe 的 AI 产品、语音配音、开发者成本、图像来源、卫星互联网和合成驾驶数据。其中部分内容是视频发布时的报道或未来计划,并非已经完成的发布或当前产品指南。

位于苏黎世的 Disney Research 制作了一款小型机器人,其设计目标是让动作富有个性。我喜欢它表现力十足的动作,让人想起 WALL-E。团队主要使用 3D 打印的模块化硬件和执行器,工程师、设计师和动画师共同参与了开发。
Disney 使用基于强化学习的流程,在动画师希望表达的效果与稳定的运动之间取得平衡。我能想象这些机器人在 Disney 乐园里为游客带来欢乐,也许有一天还能成为更小的玩具。这些只是我设想的可能性,并非已经宣布的产品计划。
Adobe 宣布更新 Firefly,包括增加训练数据和参考图像风格等控制功能。它还展示了 Illustrator 的文本生成矢量图和 Express 的 AI 功能。这些是 2023 年描述的功能;可用性和功能可能发生变化。


Adobe 预览了 Project Stardust,展示选择、移动或删除物体及其阴影,并填补背景的功能。我欢迎能让照片编辑更容易的工具。我把 Firefly 内容描述为经过版权许可,但训练数据政策或产品声明都不能保证每个输出完全没有权利问题。
我说 Adobe 收购了 Figma,但这并不正确:当时约 200 亿美元的交易只是拟议中的收购,尚未完成。Adobe 和 Figma 于 2023 年 12 月共同终止了协议。Figma 是协作设计平台,我对未来整合的猜测并非官方公告。
配音与卫星互联网
ElevenLabs 演示多语言语音配音。Amazon 发射互联网卫星原型并概述其网络计划。
ElevenLabs 推出了 AI 配音工具,称它可以将内容翻译成 29 种语言,同时保留声音特征并处理多位说话者。我认为这可能帮助创作者接触原语言之外的观众。生成的声音是合成模仿,并非原说话者实际说出翻译后的话。
我将这种方法与 MrBeast 等创作者使用的人工配音进行比较,并推测成本和对配音工作的影响。这些结果只是预测,配音的实际质量和适用性需要针对每次使用进行评估。
Amazon 发射了首批 Project Kuiper 互联网卫星原型,进入 SpaceX 的 Starlink 已拥有大规模星座的领域。当时 Amazon 计划建立由 3,236 颗低地球轨道卫星组成的网络,在 2024 年上半年发射量产卫星,并在年底前进行客户测试。这些是 2023 年的计划,不能证明覆盖范围或实际部署情况。
OpenAI 计划与芯片报道
Berman 讨论开发者定价、关于芯片探索的报道,以及当时 NVIDIA 和 Samsung 的硬件新闻。
报道称 OpenAI 计划推出开发者更新,旨在降低成本并增加视觉功能。作为 AutoGen 用户,我发现 GPT-4 智能体实验成本较高,也遇到速率限制;我说过几轮迭代就可能花费 10 美元。这是我在特定配置下的体验,并非所有智能体工作流的通用价格。
Reuters 还报道称,OpenAI 正探索自主开发 AI 芯片,并评估潜在收购目标。我讨论了 GPU 短缺、定制芯片可能带来的好处以及开发芯片所需的时间。这些是报道中的可能性,并非已经完成的收购,也不能保证价格下降。
我讨论当时传闻中的 NVIDIA RTX 4080 变体和可能的价格,以及 Samsung 宣布的下一代移动处理器。Samsung 声称,其数据处理速度是前代的 1.7 倍,AI 性能是前代的 14.7 倍。这些数字和手机采用预期都是 2023 年的声明或预期,并非这里的独立测量。
图像来源与内容审核
Meta 的 Stable Signature 旨在帮助识别 AI 生成图像。Berman 还讨论了其贴纸生成器令人担忧的输出。
Meta 研究人员推出 Stable Signature,将不可见水印嵌入生成模型的解码器,以便将输出追溯到模型版本。我支持来源追踪工具,因为合成图像可能误导人们。研究人员评估了水印对特定修改的稳健性;这并不保证水印能经受每一次编辑或攻击,也不保证检测绝不会出错。
报道还指出,尽管设置了关键词过滤,Meta 的 AI 贴纸生成器仍生成了令人反感的图像。我将其与其他图像生成系统的审核进行比较,并担心儿童使用的消息产品中出现这类内容。不应假定本段展示的任何过滤方法都能阻止所有问题输出。
视频生成与版权
Show-1 研究人员展示文本生成视频的结果,Books3 的相关报道则凸显了训练数据的争议。
新加坡国立大学的研究人员推出 Show-1,这是一种结合像素扩散和潜空间扩散的文本生成视频系统。团队报告了有竞争力的结果,并称与一个像素模型相比,推理显存占用为 15 GB 对 72 GB。这个比较只针对所测试的模型和条件,并非对所有商业生成器的普遍结论。

有关 Books3 的报道引起作者担忧:数据集中的书籍在未经授权的情况下被用于训练 AI。诉讼中包含关于训练数据的指控;法院可能要求销毁模型是我的推测,并非已经宣布的结果。我也担心随着数据所有者限制访问,有价值的数据集会变得更难获取。
自动驾驶的合成数据
Berman 讨论 Wayve GAIA-1,并比较驾驶数据的不同方法。他对合成训练数据提出尚不确定的预测。
Wayve 推出了 GAIA-1,这是一种生成驾驶场景的模型,可能有助于创建合成训练数据。我比较真实驾驶数据与经过地图绘制的 robotaxi 服务区域等不同方法,并表达了对 Tesla 方案的偏好。视频没有证明任何系统都能安全应对每一条陌生道路,也没有证明其他汽车制造商无法竞争。
合成驾驶场景可能扩大可用于训练的情景范围,但我不确定生成数据能在多大程度上迁移到真实驾驶中。我担心反复生成衍生数据可能存在局限,同时也承认它有补充真实世界数据的潜力。其安全性和有效性仍需测试。
同频道的其他文章
34:21EN → 简体中文
0:36EN → 简体中文
25:50EN → 简体中文
32:20EN → 简体中文
1:03:37EN → 简体中文
0:53EN → 简体中文