30 秒看懂
Matthew Berman 盘点当周 AI 发布,重点介绍 Luma Dream Machine、Runway Gen-3 Alpha、Apple Intelligence、Nemotron-4 340B、机器人研究与 DeepSeek Coder V2。他也表达对 OpenAI 董事会任命的个人解读;产品和基准描述反映发布当时的情况。
- 1视频瑕疵Luma 示例虽然场景逼真,但出现了变形和动作错误。
- 2Apple 的 AI 架构Berman 按当时的发布内容描述设备端处理、Apple 私有云和可选的 ChatGPT 路径。
- 3合成数据Nemotron-4 340B 被介绍为可帮助生成较小模型的训练数据。
- 4模仿人类动作斯坦福 HumanPlus 演示利用摄像头和全身控制策略模仿动作。
- 5编程模型基准DeepSeek Coder V2 在多个测试上报告了强劲结果,但不同基准的得分有所差异。
要点建议
- 视频生成器创作了引人注目的片段,但仍存在变形、动作和文字瑕疵。
- Apple 描述了设备端处理、私有云计算和可选 ChatGPT 集成的组合。
- NVIDIA 推出 Nemotron-4 340B 系列,其中一个用途是生成合成训练数据。
- HumanPlus 和虚拟啮齿动物研究探索了不同的行为建模方法。
- DeepSeek Coder V2 在发布时报告了强劲但随基准而异的结果。
按章节阅读整理后的全文
Luma 与 Runway 视频生成
Berman 回顾生成视频示例及其局限,并期待有竞争力的开放模型。
本周 AI 新闻包括新的视频生成器、Apple Intelligence、NVIDIA 模型、机器人和 DeepSeek Coder V2。我先介绍 Luma AI 的 Dream Machine,它可以根据文本或图像生成视频。示例令人印象深刻,但有些物体会变形或动作不连贯。
Luma 的示例包括人、动物和车辆。气球场景在帧与帧之间发生变化,一辆车出现变形,一只柯基的腿部动作也不够真实。公司还指出文字生成困难,以及所谓的 Janus 问题:身体部位出现在错误位置。

Runway 宣布了 Gen-3 Alpha。我查看了假发落到人头上、动物出现在风景中以及列车穿过城市等示例。这些片段的视觉效果很突出,但我也注意到细小瑕疵和变化的背景细节。
其他 Runway 示例包括列车窗户上的倒影、博物馆画作、巷子里的宇航员和城市中的生物。我将车窗示例与 Sora 的一个示例进行比较,认为动作和构图很有前景,同时也注意到某些不自然的视觉细节。
最后一段水下场景展示了镜头移动时系统需要维持多少一致性。我期待试用这些工具,也希望开放的视频模型最终能与当时的专有产品竞争。
Apple Intelligence
他讨论 Apple 宣布的设备端和云端处理,以及可选的 ChatGPT 集成。评价基于发布时的信息。
Apple 的发布内容包括能够计算手写公式的计算器,以及在操作系统中提供 ChatGPT 的合作。我想澄清自己对所公布架构的理解,因为有些评论把 OpenAI 当成 Apple Intelligence 所有功能的提供方。
Apple 介绍了设备端模型,以及为需要更多计算能力的任务使用的自有私有云计算。我理解 ChatGPT 是某些请求的额外选项,发送请求前会询问用户。这里讨论的是发布时的架构描述,并非对所有后续实现的断言。
例如,一般知识问题可能会提供给 ChatGPT,而个人操作和摘要属于 Apple 自己系统的功能。我尤其关注能够全天帮助个人完成任务的功能,而不仅是偶尔回答一般知识问题。
模型与机器人研究
NVIDIA 模型系列的部分目标是合成数据。HumanPlus 和虚拟啮齿动物展示了不同的行为研究方法。
NVIDIA 发布了 Nemotron-4 340B 系列,包括指令模型和奖励模型。其预期用途之一是生成用于训练较小模型的合成数据。我还没有亲自测试;我想知道这类数据能否帮助缺少大型专有数据集的组织。

斯坦福研究者展示了 HumanPlus,该系统使用单个 RGB 摄像头和全身控制策略模仿人的动作。示例包括拳击、弹钢琴和乒乓球。视频介绍了姿态估计、人形身体和机器手等组成部分。
Google DeepMind 与哈佛大学的研究者还展示了由神经网络控制、通过深度强化学习训练的虚拟啮齿动物。这项工作使研究者能够比较模拟与真实的神经活动。我认为这是通过模拟研究行为的一项有趣进展。
OpenAI、图像模型与 DeepSeek
Berman 表达对 OpenAI 董事会任命的看法,随后介绍 Stable Diffusion、人形机器人驾驶和 DeepSeek Coder V2。
我讨论了美国陆军退役上将 Paul Nakasone 加入 OpenAI 董事会。OpenAI 强调他的网络安全经验;我则表达了对监管影响和信任流失的担忧。这些担忧是我的解读,不能证明任命构成监管俘获。
我简要谈到 Stability AI 的 Stable Diffusion 3 Medium:我的体验认为它表现中等。我也提到日本的一项研究演示,即由人形机器人驾驶普通车辆。这些只是演示和个人印象,并非对系统的全面评价。

最后,DeepSeek Coder V2 提供 160 亿和 2300 亿参数两种规模,拥有 12.8 万 token 上下文并支持多种编程语言。发布图表报告其在多项编程和数学基准上表现强劲,但不同测试的表现有所差异。我计划亲自评测。
同频道的其他文章
25:50EN → 简体中文
32:20EN → 简体中文
45:08EN → 简体中文
12:14EN → 简体中文
10:36EN → 简体中文
17:37EN → 简体中文