30 秒看懂
在这期 2024 年 8 月的新闻汇总中,Matthew Berman 讨论 OpenAI 领导层变动、Nvidia 收集视频的报道、LangGraph Studio、OpenAI Structured Outputs、Mistral 定制功能、Qwen2-Math 以及合成声音和视频示例。文章区分报道中的说法、基准结果和更广泛的保证,并保留历史背景。
- 1离职与休假Brockman 休假,Schulman 加入 Anthropic,Deng 离职;Schulman 公开否认缺乏对齐支持是他作出决定的原因。
- 2训练数据争议Berman 讨论一则有关 Nvidia 收集视频的报道,并主张创作者应有选择权;法律问题仍有争议。
- 3Structured OutputsOpenAI 推出受模式约束的输出;其报告的评估结果不能保证每种情况下内容准确或请求成功完成。
- 4Qwen2-Math 结果Qwen 团队报告,其 72B 指令模型在特定零样本设置下取得 84.0 的 MATH 分数。
- 5合成声音与人脸视频回顾了一次意外的 GPT-4o 声音事件,以及生成图像和实时换脸演示。
要点建议
- Greg Brockman 宣布休假,John Schulman 和 Peter Deng 离开 OpenAI;没有证据表明这些事件有共同原因。
- Schulman 表示,他离开并非因为 OpenAI 缺乏对对齐研究的支持。
- OpenAI 的 Structured Outputs 100% 结果来自特定的模式评估,并不保证事实正确或每次请求都能完成。
- Qwen2-Math 报告的基准分数描述的是 2024 年一项特定评估。
- 合成声音和人脸演示显示了媒体可能误导观众,单个片段不能证明其普遍可靠。
按章节阅读整理后的全文
OpenAI 领导层变动
Berman 讨论 Schulman 和 Deng 的离职,以及 Brockman 宣布的休假。Schulman 表示决定出于个人原因,并非因为缺乏对对齐工作的支持。
在这期 2024 年 8 月的新闻汇总中,我暂时不谈本周关于 OpenAI“Strawberry”项目的猜测,转而讨论领导层变动、开发工具、模型发布和合成媒体。这些公告和比较反映的是其最初发布时的情况,并非当前排名或功能列表。
OpenAI 联合创始人 Greg Brockman 表示,他将休假至 2024 年底;他并未辞职。另一位联合创始人 John Schulman 离开并加入 Anthropic,产品高管 Peter Deng 也离职。报道没有确定这三件事有共同原因。

Schulman 表示,他希望更深入地关注 AI 对齐,并回到亲自开展技术工作的状态。我认为他转投竞争对手值得注意,但他明确说,OpenAI 缺乏对对齐研究的支持并非他离开的原因。我对其动机的疑问只是猜测,不是与他声明相矛盾的证据。
Schulman 还感谢同事们的支持,Sam Altman 也公开感谢了他。我没有证据表明这次变动背后存在特定争执。Brockman 宣布休假和另外两人离职是不同事件,尽管它们一起引发了对领导层人员流动的关注。
视频收集与创作者选择
一篇报道描述了 Nvidia 收集在线视频用于 AI 开发。Berman 讨论同意、企业训练和现有控制措施的局限。
404 Media 的一篇报道描述了 Nvidia 内部有关收集在线视频用于 AI 训练的材料,其中包括来自 YouTube 的视频。Nvidia 辩称这一做法符合版权法。特定使用行为的法律地位取决于事实和适用法律;公司的辩护和新闻报道都不是法院裁决。
作为创作者,当一家公司使用我花大量时间和金钱制作的作品来开发另一种产品时,我感到不舒服。我理解有人把这与人从公开材料中学习作比较,但我认为这与企业规模的训练不同。观众可以合理地对这一类比和权利应如何运作持不同意见。
我至少希望创作者对作品如何使用有真正的选择权。网站可以用 robots.txt 向爬虫表达偏好,但这一机制并非适用于每种 AI 训练用途的通用法律或技术解决方案。同意与补偿问题仍存在争议。
工具、结构化输出与 Mistral
本期汇总介绍 LangGraph Studio、OpenAI Structured Outputs 和 Mistral 定制工具。Berman 讨论调试与动态界面。

LangChain 宣布推出 LangGraph Studio,这是一个用于可视化和调试智能体应用的界面。演示展示了步骤、消息和执行过程构成的图,并允许检查或调整运行过程。我喜欢这种可视化方式,因为它让复杂工作流更容易检查。
OpenAI 还在 API 中宣布推出 Structured Outputs,允许开发者指定 JSON Schema 并使用严格函数定义。结构化格式使生成内容更容易与应用连接。这与仅用自然语言要求 JSON 不同:开发者需要提供模式。

OpenAI 报告称,在其特定复杂模式评估中,使用严格 Structured Outputs 的 GPT-4o-2024-08-06 得到了 100% 的结果。这是该项评估的结果,并不保证每次请求都能完成、每种模式都受支持,或输出值在事实上正确。拒绝回答和不完整响应仍需处理。
一种可能用途是根据用户意图生成界面元素,例如注册页面或股票组件。我觉得按需创建界面的想法很有意思。模式可以帮助组织结果,但生成的代码和数据仍需验证。

Mistral 宣布在 La Plateforme 上为 Mistral Large 2 和 Codestral 等模型提供定制,可使用提示、示例或数据集微调。公司还推出了智能体界面和稳定版客户端 SDK。我认为该智能体界面更接近预定义助手,而不是其他地方展示的更复杂智能体框架。
数学模型与声音行为
Qwen 报告 Qwen2-Math 的基准结果。一次 GPT-4o 声音测试展示了意外生成声音的风险。
Qwen 团队发布了 Qwen2-Math 开放权重模型。其图表报告,Qwen2-Math-72B-Instruct 在所述零样本评估设置下取得 84.0 的 MATH 基准分数。这是团队在 2024 年进行的特定比较,不能证明该模型在所有数学任务中最好,也不是当前排行榜。

团队还比较了不同模型大小与其他开放权重系统。我尚未亲自测试。有关“Strawberry”的报道和传闻解释了人们对数学推理的关注,但它们并不是该未发布项目实际能力的证据。
一段 GPT-4o 语音片段引发关注:模型突然喊叫,随后似乎模仿了用户的声音。OpenAI 的 2024 年系统卡记录了测试中罕见的意外声音生成行为,并描述了防护措施。该片段只是一次特定失败的例子,不能证明普通用户的声音经常被克隆。
生成图像与实时换脸
Berman 观察合成图像、动画和 Deep-Live-Cam,并思考其逼真程度及误导可能性。
我还展示了一张在网上流传的图像,并称它由 FLUX 生成。在我看来,包括文字和细节在内,它看起来很逼真;另一个示例使用视频生成工具让图像动起来。我担心合成媒体在选举期间误导人们;仅凭视觉逼真程度无法确定任何特定图像的来源。
最后,我讨论 Deep-Live-Cam。该项目演示了使用单张参考图像进行实时换脸。示例使用了公众人物的脸。输出是合成的,将人脸匹配到运动中的身体仍可能产生可见的不一致;当时我尚未独立测试该工具。

我觉得实时演示令人印象深刻,并考虑制作教程。除了创作用途,人脸和声音模仿也可能让观众误以为某人实际出现或发言。本期汇总最后提醒,需要把这些例子作为演示来评估,而不是假设每个结果都完美或具有代表性。
同频道的其他文章
34:21EN → 简体中文
0:26EN → 简体中文
0:36EN → 简体中文
0:21EN → 简体中文
25:50EN → 简体中文
32:20EN → 简体中文