OpenAI 人事变动、开发工具与合成媒体:2024 年 8 月 AI 新闻汇总

原标题OpenAI Departures, Developer Tools and Synthetic Media: An August 2024 AI Roundup

Matthew Berman 回顾领导层变动、训练数据争议、API 结构化输出、Qwen2-Math 和新兴深度伪造工具。

MBMatthew Berman讲者 · Forward Future
频道
Matthew Berman
发布
2024年8月10日
视频
14:32
阅读
6 分钟
幻灯片
6
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

在这期 2024 年 8 月的新闻汇总中,Matthew Berman 讨论 OpenAI 领导层变动、Nvidia 收集视频的报道、LangGraph Studio、OpenAI Structured Outputs、Mistral 定制功能、Qwen2-Math 以及合成声音和视频示例。文章区分报道中的说法、基准结果和更广泛的保证,并保留历史背景。

  1. 1离职与休假Brockman 休假,Schulman 加入 Anthropic,Deng 离职;Schulman 公开否认缺乏对齐支持是他作出决定的原因。
  2. 2训练数据争议Berman 讨论一则有关 Nvidia 收集视频的报道,并主张创作者应有选择权;法律问题仍有争议。
  3. 3Structured OutputsOpenAI 推出受模式约束的输出;其报告的评估结果不能保证每种情况下内容准确或请求成功完成。
  4. 4Qwen2-Math 结果Qwen 团队报告,其 72B 指令模型在特定零样本设置下取得 84.0 的 MATH 分数。
  5. 5合成声音与人脸视频回顾了一次意外的 GPT-4o 声音事件,以及生成图像和实时换脸演示。

要点建议

  1. Greg Brockman 宣布休假,John Schulman 和 Peter Deng 离开 OpenAI;没有证据表明这些事件有共同原因。
  2. Schulman 表示,他离开并非因为 OpenAI 缺乏对对齐研究的支持。
  3. OpenAI 的 Structured Outputs 100% 结果来自特定的模式评估,并不保证事实正确或每次请求都能完成。
  4. Qwen2-Math 报告的基准分数描述的是 2024 年一项特定评估。
  5. 合成声音和人脸演示显示了媒体可能误导观众,单个片段不能证明其普遍可靠。
全文

按章节阅读整理后的全文

只看原始文稿
01

OpenAI 领导层变动

Berman 讨论 Schulman 和 Deng 的离职,以及 Brockman 宣布的休假。Schulman 表示决定出于个人原因,并非因为缺乏对对齐工作的支持。

在这期 2024 年 8 月的新闻汇总中,我暂时不谈本周关于 OpenAI“Strawberry”项目的猜测,转而讨论领导层变动、开发工具、模型发布和合成媒体。这些公告和比较反映的是其最初发布时的情况,并非当前排名或功能列表。

OpenAI 联合创始人 Greg Brockman 表示,他将休假至 2024 年底;他并未辞职。另一位联合创始人 John Schulman 离开并加入 Anthropic,产品高管 Peter Deng 也离职。报道没有确定这三件事有共同原因。

OpenAI 领导层报道
幻灯片 1 / 6OpenAI 领导层报道屏幕上的文章区分了宣布休假和高管离职。

Schulman 表示,他希望更深入地关注 AI 对齐,并回到亲自开展技术工作的状态。我认为他转投竞争对手值得注意,但他明确说,OpenAI 缺乏对对齐研究的支持并非他离开的原因。我对其动机的疑问只是猜测,不是与他声明相矛盾的证据。

Schulman 还感谢同事们的支持,Sam Altman 也公开感谢了他。我没有证据表明这次变动背后存在特定争执。Brockman 宣布休假和另外两人离职是不同事件,尽管它们一起引发了对领导层人员流动的关注。

02

视频收集与创作者选择

一篇报道描述了 Nvidia 收集在线视频用于 AI 开发。Berman 讨论同意、企业训练和现有控制措施的局限。

404 Media 的一篇报道描述了 Nvidia 内部有关收集在线视频用于 AI 训练的材料,其中包括来自 YouTube 的视频。Nvidia 辩称这一做法符合版权法。特定使用行为的法律地位取决于事实和适用法律;公司的辩护和新闻报道都不是法院裁决。

作为创作者,当一家公司使用我花大量时间和金钱制作的作品来开发另一种产品时,我感到不舒服。我理解有人把这与人从公开材料中学习作比较,但我认为这与企业规模的训练不同。观众可以合理地对这一类比和权利应如何运作持不同意见。

我至少希望创作者对作品如何使用有真正的选择权。网站可以用 robots.txt 向爬虫表达偏好,但这一机制并非适用于每种 AI 训练用途的通用法律或技术解决方案。同意与补偿问题仍存在争议。

03

工具、结构化输出与 Mistral

本期汇总介绍 LangGraph Studio、OpenAI Structured Outputs 和 Mistral 定制工具。Berman 讨论调试与动态界面。

LangGraph Studio 公告
幻灯片 2 / 6LangGraph Studio 公告可视化界面展示了用于检查智能体工作流的图和消息。

LangChain 宣布推出 LangGraph Studio,这是一个用于可视化和调试智能体应用的界面。演示展示了步骤、消息和执行过程构成的图,并允许检查或调整运行过程。我喜欢这种可视化方式,因为它让复杂工作流更容易检查。

OpenAI 还在 API 中宣布推出 Structured Outputs,允许开发者指定 JSON Schema 并使用严格函数定义。结构化格式使生成内容更容易与应用连接。这与仅用自然语言要求 JSON 不同:开发者需要提供模式。

Structured Outputs 公告
幻灯片 3 / 6Structured Outputs 公告OpenAI 描述了遵循开发者提供的 JSON Schema 的结构化回答。

OpenAI 报告称,在其特定复杂模式评估中,使用严格 Structured Outputs 的 GPT-4o-2024-08-06 得到了 100% 的结果。这是该项评估的结果,并不保证每次请求都能完成、每种模式都受支持,或输出值在事实上正确。拒绝回答和不完整响应仍需处理。

一种可能用途是根据用户意图生成界面元素,例如注册页面或股票组件。我觉得按需创建界面的想法很有意思。模式可以帮助组织结果,但生成的代码和数据仍需验证。

Mistral 模型定制
幻灯片 4 / 6Mistral 模型定制Mistral 描述了使用提示、示例和微调进行定制。

Mistral 宣布在 La Plateforme 上为 Mistral Large 2 和 Codestral 等模型提供定制,可使用提示、示例或数据集微调。公司还推出了智能体界面和稳定版客户端 SDK。我认为该智能体界面更接近预定义助手,而不是其他地方展示的更复杂智能体框架。

04

数学模型与声音行为

Qwen 报告 Qwen2-Math 的基准结果。一次 GPT-4o 声音测试展示了意外生成声音的风险。

Qwen 团队发布了 Qwen2-Math 开放权重模型。其图表报告,Qwen2-Math-72B-Instruct 在所述零样本评估设置下取得 84.0 的 MATH 基准分数。这是团队在 2024 年进行的特定比较,不能证明该模型在所有数学任务中最好,也不是当前排行榜。

Qwen2-Math 基准图表
幻灯片 5 / 6Qwen2-Math 基准图表团队图表比较了选定模型在其所述评估设置下的 MATH 分数。

团队还比较了不同模型大小与其他开放权重系统。我尚未亲自测试。有关“Strawberry”的报道和传闻解释了人们对数学推理的关注,但它们并不是该未发布项目实际能力的证据。

一段 GPT-4o 语音片段引发关注:模型突然喊叫,随后似乎模仿了用户的声音。OpenAI 的 2024 年系统卡记录了测试中罕见的意外声音生成行为,并描述了防护措施。该片段只是一次特定失败的例子,不能证明普通用户的声音经常被克隆。

05

生成图像与实时换脸

Berman 观察合成图像、动画和 Deep-Live-Cam,并思考其逼真程度及误导可能性。

我还展示了一张在网上流传的图像,并称它由 FLUX 生成。在我看来,包括文字和细节在内,它看起来很逼真;另一个示例使用视频生成工具让图像动起来。我担心合成媒体在选举期间误导人们;仅凭视觉逼真程度无法确定任何特定图像的来源。

最后,我讨论 Deep-Live-Cam。该项目演示了使用单张参考图像进行实时换脸。示例使用了公众人物的脸。输出是合成的,将人脸匹配到运动中的身体仍可能产生可见的不一致;当时我尚未独立测试该工具。

Deep-Live-Cam 换脸演示
幻灯片 6 / 6Deep-Live-Cam 换脸演示所示示例使用参考图像叠加合成人脸,并非画中人物的真实录像。

我觉得实时演示令人印象深刻,并考虑制作教程。除了创作用途,人脸和声音模仿也可能让观众误以为某人实际出现或发言。本期汇总最后提醒,需要把这些例子作为演示来评估,而不是假设每个结果都完美或具有代表性。

同频道的其他文章

12 张幻灯片34:21EN → 简体中文
Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构,并质疑 AI 快速发展与安全之间的张力。AnthropicAI Safety企业 AI+2
0:26EN → 简体中文
Matthew Berman· 2026年10月25日Sam Altman 谈 AI 世界中的人类价值与问题解决Sam Altman · OpenAI在一段简短的访谈摘录中,Altman 思考解决难题的乐趣,以及人在解读结果时的作用。Human-AI CollaborationFuture of WorkAI Strategy
2 张幻灯片0:36EN → 简体中文
Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原,并对 Kimi K3.1 的测试给予积极评价。评估编程智能体Open-weight models
2 张幻灯片0:21EN → 简体中文
Matthew Berman· 2026年10月24日AI 生成的 Kimi 基准图表使用了虚构分数Matthew Berman · Forward FutureMatthew Berman 要求生成一张 Kimi K3.1 Pro 基准图表,随后发现图中的数字只是示意性占位值。Benchmarks评估Generative media
6 张幻灯片25:50EN → 简体中文
Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。Open-weight modelsBenchmarksAI cost & performance+1
2 张幻灯片32:20EN → 简体中文
Matthew Berman· 2026年10月23日本地 AI 究竟适合谁?成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权,与硬件成本、设置复杂度及推理速度之间的关系。Local inferenceOpen-weight modelsAI cost & performance+1