2024 年 10 月 AI 新闻：Swarm、Blackwell、视频模型与端侧 AI

我在纽约回顾一批 2024 年 10 月的公告；IBM 邀请我到这里了解其 AI 技术。本视频由 Mammouth 赞助。以下产品可用性、价格和预测描述的是当时情况，而非当前产品。

OpenAI 发布了 Swarm，一个探索多智能体编排的开源实验框架。其仓库将它描述为教育性项目，不提供支持，也不适用于生产。我认为这是平台提供商进入开发者原本可能自行构建的工具领域的又一个例子。

Swarm 探索智能体之间轻量、可定制的交接。与内置记忆和检索的托管助手服务不同，它主要在客户端运行，调用之间不维护状态。一个天气示例将请求从分流智能体转交给天气智能体，后者调用工具并返回结果。其他模型是否可用取决于集成方式；我没有测试这一说法。

NVIDIA 向 OpenAI 交付了一台早期 DGX B200 系统。我讨论了约 40 万美元的报道价格，以及包含 8 块 Blackwell GPU、1,440 GB GPU 内存、两颗 Xeon CPU 和 4 TB 系统内存的系统。画面中的 3 倍训练比较针对特定 GPT-MoE 工作负载与 DGX H100 的对比；提到的 15 倍推理数据同样取决于条件，并非适用于每项任务。

NVIDIA 还发布了微调模型 Llama-3.1-Nemotron-70B-Instruct。我看到了有利的基准主张，计划亲自测试。报道中与 GPT-4o 和 Claude 3.5 Sonnet 的比较涉及特定基准与配置，而非普遍排名。

Google 宣布协议，将从 Kairos Power 计划建设的小型模块化反应堆购买电力，以支持包括 AI 在内的能源需求。我支持核能投资，但承认自己不是专家。我说美国在过去的事故后关闭了所有核电站，这一说法不正确：美国核电站仍在运营。

Adobe 宣布 Firefly 视频生成支持文本生成视频和图像生成视频。Adobe 根据其训练数据方法将模型描述为为商业安全而设计；这是公司的主张，并非对每个输出或合法用途的保证。我还提到 Photoshop 的 Generative Fill，它可以根据提示词编辑选定区域。

Worldcoin 更名为 World，并推出身份生态系统更新。其 Orb 扫描人的虹膜，作为人类证明系统的一部分，旨在帮助区分独立的人与自动化账户。我说自己最近采访了创始成员 Saturnin Pugnet，并讨论该项目的目标和潜在用途。

我将虹膜信息简单描述为存储在区块链上，这是不完整的。World 于 2024 年宣布对 Orb 生成的数据采用个人托管，其验证系统还使用额外的密码学机制。生物识别信息如何处理和保护，与一个人能否出示人类身份凭证是两个不同的问题。

Pyramid Flow SD3 是另一个视频生成发布项目，在 Hugging Face 上提供公开材料。我欢迎一个替代选择，因为当时有些已宣布的系统尚未广泛开放。应该分别检查其模型、代码和使用条款，而不是假定所有组件都使用同一种无约束许可证。

据报道，由前 Salesforce 联合首席执行官 Bret Taylor 共同创立的 Sierra 正在以超过 40 亿美元的估值融资。它销售客户服务智能体，包括语音应用。这些估值和融资细节是当时报导中的谈判情况，视频没有证实最终交易。

一份报告预测 OpenAI 的亏损将在 2026 年升至 140 亿美元。我结合人员、模型、合作和数据投资来解读这个数字，但它是预测，并非已经实现的结果。我认为公司可以继续融资，这是意见，不是财务保证。

Anduril 推出了 Bolt，一系列便携式自主飞行器，包括侦察和弹药版本。公司将 Bolt-M 描述为一种由操作员作出交战决策的精确系统。我觉得这项技术很有趣；片段是产品公告，而非其实际作战表现的独立证据。

SpaceX 展示了使用发射塔机械臂接住 Super Heavy 助推器的过程。我讨论更快重复使用的潜力，但我提出的几小时内加注燃料并重新发射是一种愿景，并非该次飞行已经展示的周转速度。早期一次性助推器的描述也不能概括 SpaceX 此前的每一次着陆。

据报道，Microsoft 研究员 Sébastien Bubeck 离职加入 OpenAI，展示了既是紧密合作伙伴又相互竞争的公司之间的人才流动。我说 Microsoft 拥有 OpenAI 约一半股权，视频没有证据支持这一说法，不应将它视为已核实的持股比例。

Zyphra 宣布推出混合状态空间模型 Zamba2-7B，并用图表与选定模型比较 MMLU 和首 token 延迟。这是特定条件下的厂商比较，不能证明它在每项任务上都胜出。在亲自测试之前，我仍持谨慎态度。

我讨论迹象表明 SearchGPT 实验中的网络搜索功能可能整合进 ChatGPT。这是基于 2024 年 10 月可用信息作出的预期，并非证明当时每位用户都已能使用。

Mistral 推出了面向端侧使用的 Ministral 3B 和 8B。公告称支持最长 128K 上下文，8B 模型采用交错滑动窗口注意力模式。我认为小型专用模型适合许多任务，尽管我估计 98% 的用途不需要前沿模型，这个比例在此并未测量。

Mistral 公布的基准表和历史 API 价格显示了特定的成本与性能取舍；它们不能证明在所有任务上都更优。模型的商业和研究条款不同，因此必须针对相关版本检查权重访问和允许的用途。

Tesla 活动之后，报道指出 Optimus 机器人在部分互动中有人类协助。随后的一段视频展示了工厂内的导航，Tesla 将其呈现为自主行为。一项活动的演示不能证明活动中的每次互动或机器人的每项能力都完全自主。

Power-over-Skin 研究设想不带自身电池的小型可穿戴设备，包括可能的耳机。我错误地将其描述为使用人体产生的能量：研究人员的设计实际上从另一个电源驱动的穿戴式发射器，通过人体传输射频电力。该项目属于研究，并非已经展示的无电池消费级耳机。

Google 宣布 NotebookLM 的 Audio Overview 可以在生成前定制，并正在推出企业产品。我还没有使用过该功能，不确定自己有多需要音频摘要，但我知道其他人认为它有用。

最后，ChatGPT 付费用户当时正在获得 Windows 应用的抢先使用权限。我重视能快速开始对话的原生快捷方式，也希望在手机上更容易访问 ChatGPT 或 Perplexity。这些推出细节反映的是视频发布时的情况。