2024 年 9 月 AI 新闻：Copilot、NotebookLM、o1 与世界模型

Sam Altman 发帖说自己回到美国中西部，期待冬季星座出现。我觉得这可能暗示传闻中 OpenAI 未来的 Orion 模型，也猜测“冬季”是否意味着它会在当年晚些时候发布。这只是我对一则含糊帖子的解读，并非已经确认的模型名称或发布日期。

Microsoft 正在改进 Copilot，我认为它需要给用户一个更充分的使用理由。Recall 曾延期，仅仅通过 Windows 按键打开 AI 聊天，与网页体验相比也没有增加多少功能。新的演示则让 AI 更直接地融入日常工作。

Copilot Pages 把基于网络资料的回答和引用放进可编辑页面，团队成员可以共同协作，也能继续给 AI 提示。我感兴趣的是这种界面：一个回答变成了人和 AI 可以共同修改的工作成果。

在 Excel 演示中，用户用自然语言提出要求，系统通过 Python 生成分析和图表。在 PowerPoint 中，关于商用电动车充电站的一条提示词生成了可重新调整的演示文稿。Outlook 则增加了摘要和跟进建议。这些都是 Microsoft 的演示，实际工作中的效果仍需检验。

在我看来，Copilot Studio 的智能体构建器更像自定义 GPT，而非用其他框架构建的完整智能体。用户可以连接文档和网络搜索，包括企业内部信息。Satya Nadella 认为，随着模型能力提升并逐渐商品化，价值会转向如何用企业数据和工作流程为模型提供依据、调整模型，以及围绕它们构建交互界面。

我也曾提出类似的模型商品化观点，尤其是在 Llama 发布后，它在一些任务上缩小了与领先模型的差距。我认为 Microsoft 在业内建立多种合作关系，也有助于避免把所有 AI 投注放在一家模型提供商身上。这些是我的判断，并不能证明所有模型都可以互换。

关于 Meta 使用公开 Facebook 和 Instagram 帖文的报道，提出了另一个问题：究竟哪些数据用于训练 AI？报道说，Meta 使用成年用户公开发布的帖子和照片，包括较早的内容；在澳大利亚的一次调查中，一名 Meta 隐私高管在接受追问后确认了这一大致描述。

Meta 当时的政策区分了公开帖子、评论与面向非公开受众分享的内容。我记得 Mark Zuckerberg 曾说没有使用 Facebook 数据，但仅凭这次讨论，我无法确认他当时是否指私密数据。具体范围和退出规则取决于地区和时间；这一报道不能证明每一条公开帖子都一定被使用。

Mistral 发布了 Pixtral 12B，这是一款可以接收图像并回答相关问题的视觉模型。录制视频时我还没有测试过它，因此无法根据个人经验评价其表现。

一位前 OpenAI 员工推出了开源语言模型编程库 ell。它的理念是把提示词视为程序和模型参数，并提供自动版本管理、追踪和本地可视化。示例中，一个简短的 Python 函数定义笑话提示词，然后传入话题调用该函数。

配套的 ell Studio 界面提供本地提示词版本控制、监控与可视化，还展示了多模态示例。构建生产系统时，尤其是在智能体工作流中，追踪提示词变化很重要，因为开发者可以看到修改了什么并比较结果。

Adobe 宣布了 Firefly 视频模型，计划在 2024 年晚些时候推出公开测试版。Adobe 称其设计目标是支持商业使用，并表示训练方法依赖它有权使用的素材。示例包括文生视频和基于图像的生成，目标还包括镜头控制以及与 Adobe 工具的集成。

其中一个例子以孩子观察花朵的真实录像作为参考，随后展示生成的片段，作为可能补拍的镜头。我喜欢在剪辑时补足缺失画面的想法，不过这些是经过挑选的宣传示例，并非对画面质量或权利问题的独立评估。

Klarna 的 CEO 表示，公司正在内部停用 Salesforce，并计划停止使用 Workday，这是简化软件体系的更广泛行动的一部分。随着 AI 让软件开发变得更容易，我认为昂贵的软件订阅可能面临挑战；但这一说法并不能证明所有替换工作均已完成，也不能证明整个技术栈都是 AI 构建的。

我对这一策略的看法有些矛盾。工程师可能低估构建和维护内部系统的工作量。在我以前的公司，与其他平台的集成及其持续维护就是一项重大负担。AI 能否充分减轻这一负担，从而替代成熟软件，仍是一个开放的问题。

Google 新推出的 NotebookLM Audio Overview 能把上传的资料变成两位 AI 主持人的对话。示例听起来很自然，我可以想象用它来听研究论文，但我还不确定听在什么情况下会比阅读更有效。Google 指出，音频概览反映的是上传的资料，并非对某个主题全面或客观的论述。

ARC Prize 团队使用视觉推理谜题测试了 OpenAI 新发布的 o1 模型，旨在衡量它们适应陌生任务的能力。在 2024 年 9 月使用基线测试框架进行的公开评测中，o1-preview 得分为 21.2%，Claude 3.5 Sonnet 为 21%，o1-mini 为 12.8%，GPT-4o 为 9%，Gemini 1.5 为 8%。这些是特定测试条件下的结果，并非对智能水平的通用衡量。

图表还展示了使用额外技术的系统取得的更高分数。例如，MindsAI 的 46% 来自私有评测，而模型基线来自公开评测，不应把这些数字当成同一测试的结果。我推测，把更强的模型与专门方法结合可能提高成绩，但这只是一种可能性，尚未得到演示验证。

Tencent 的 GameGen-O 项目展示了生成的类游戏视频，包括角色、环境和动作。项目将其描述为用于开放世界游戏生成的扩散 Transformer；示例中有驾驶、飞行和行走等熟悉游戏类型的场景。我认为这样的工作可能改变游戏，但生成的演示画面本身并不能证明它是一款完整可玩的游戏。

最后，据报道，李飞飞创办的 World Labs 启动时获得了 2.3 亿美元资金，估值约为 10 亿美元。其目标是构建具有空间智能的大型世界模型：能够在三维空间和时间中对物体、地点和交互进行建模与推理的系统。

这与 Yann LeCun 的观点有关：仅靠语言模型不足以建立世界模型。我也好奇 Tesla 可能如何利用它收集的大量真实世界视频。这些都是未来的可能性；World Labs 的发布介绍的是一个目标，而非已经展示的通用空间推理解决方案。