AI Scientist、Grok-2 与 Agent Q：Matthew Berman 的 2024 年 8 月 AI 新闻回顾

在这期 2024 年 8 月的回顾中，我要谈谈 AI 发布格外密集的一周。炒作也不少：一个匿名账号推动了人们对 OpenAI 传闻中的 Strawberry 推理模型的猜测，但它的许多说法后来证明是错的。这些梗很有趣，却不是可靠的发布公告。

xAI 宣布推出 Grok-2 和 Grok-2 mini 的早期预览，并确认 Grok-2 就是此前在 LMSYS 竞技场以 sus-column-r 名义测试的匿名模型。尽管 xAI 表示两者都已在 X 上进入测试，我查看时似乎只能使用 mini。我觉得模型的推理能力很强，其图像生成使用了 Black Forest Labs 的 FLUX.1。

网上流传的图片展示了政治人物、虚构角色和其他知名形象出现在各种不可能的场景中。我惊讶于这些示例看起来受到的限制如此之少。这些截图展示的是用户生成了什么，并不构成对服务防护措施或版权规则的全面测试。

我获得了 OpenAI 的 SearchGPT 原型早期使用资格，并询问了一场即将举行的 UFC 比赛。它给出答案和来源，还提供反馈控件及媒体内容。相比在广告和链接中翻找，我更喜欢直接得到有来源的答案，因此把它设为默认搜索。我预测 SearchGPT 和 Perplexity 最终会从 Google 手中夺走搜索市场；这是我对未来的看法，而非已经发生的市场结果。

MultiOn 的 Agent Q 研究结合引导搜索、自我批评和强化学习，帮助网页智能体规划并从错误中恢复。我还没试过它，并注意到这个项目闭源，似乎面向消费者。据报告，在 OpenTable 预订实验中，Llama 3 智能体的零样本成功率为 18.6%，经过一天自主数据收集后升至 81.7%，加入在线搜索后达到 95.4%。这些数字适用于该特定预订场景，并不代表整个网络上的一般成功率。

其中的技术包括蒙特卡洛树搜索和直接偏好优化。有些观察者把类似思路与 OpenAI 的 Strawberry 或 Q* 传闻联系起来，但匿名账号背后的身份及这些关联都未经证实。我想在实际任务中试试 Agent Q，而不是把传闻当作证据。

Cosine 报告称，其 Genie 编程智能体在 SWE-bench 上得分 30%，在 SWE-bench Lite 上得分 50%。与图表中的竞争结果相比，包括其中一个 Devin 结果，我认为这是一次显著跃升；不过我不确定图表为何列出了不同的 Devin 数字。这些是历史基准对比，测试和报告方法的差异很重要。

Cosine 称，其训练数据组合包含 21% 的 JavaScript、21% 的 Python 和 14% 的 TypeScript，Ruby 占 3%。示例还涵盖功能开发、错误修复、重构、测试和文档编写。Genie 的设计目标是作为智能体工作；当时有兴趣的用户可以加入候补名单。

Sakana AI 的 AI Scientist 是我觉得最令人兴奋的新闻。该系统提出机器学习研究思路，编写并运行实验代码，可视化结果，起草论文，再通过自动审稿器获取反馈。它建立在研究模板和现有实验设置之上；生成论文并不等于证明其中的发现正确或重要。

我提出，机器学习领域的自动化研究最终可能带来递归改进和智能爆炸。这是我的解读与预测，并不是报告中的实验所证实的结果。研究人员描述了系统的局限和有缺陷的产出，自动审稿分数也不能代替独立的人类验证。

研究人员估计，每篇生成论文的模型推理成本约为 15 美元。这让实验颇有吸引力，但它并不包括建立和验证整个研究项目的全部成本。系统可以归档想法，并将以往工作用于后续研究。我当时还没读完整篇论文，希望在得出更强结论前先研究细节。

OpenAI 推出了 SWE-bench Verified，这是基准测试中经过人工验证的子集，旨在更可靠地评估系统能否解决真实的软件问题。底层示例来自 12 个开源 Python 代码库中已解决的问题。图表对比了多个智能体和工具，但在这个子集上的表现并不能证明智能体能可靠处理所有软件任务。

Google 的 Gemini 活动中有一场现场演示遇到了困难。一位演示者拍摄了 Sabrina Carpenter 的演唱会海报，让 Gemini 查询日历，看看旧金山演出日期是否有空。第一次请求失败，重试也失败；换用备用手机后，演示者再次尝试，这次成功了。

Google 还将 Gemini Live 的对话语音体验推向了市场。用户可以与它来回对话，也可以打断它。我更喜欢 OpenAI 的 GPT-4o 语音听起来的效果，但也肯定 Google 交付了自己的产品。这个判断反映的是录制视频时已经提供或宣布的功能。

Anthropic 为 Claude 推出了提示词缓存，可以在不同请求之间复用符合条件的输入前缀，降低重复上下文的成本和延迟。潜在用途包括长对话、编程助手、文档处理、详细指令和智能体工作流。展示的示例估计，与一本书聊天可降低 90% 成本，多示例提示可降低 86%，多轮对话可降低 53%；实际节省取决于工作负载和缓存用法。

缓存仍需要工程判断，确定哪些上下文可以复用以及何时复用。我认为节省的成本值得大规模应用进行测试。接着，我谈到报道中 Apple 正考虑推出一款装有机械臂、类似 iPad 的家用设备，可能用于智能家居控制、视频通话和安防。所谓 2026 年或 2027 年推出以及 360 度转动，当时都只是传闻，并非 Apple 的产品公告。

最后，Nous Research 发布了 Hermes 3，这是一组基于 Llama 3.1 微调的模型，规模分别为 8B、70B 和 405B。团队称其在角色扮演、智能体任务、函数调用、多轮对话和长上下文连贯性方面有所提升。我当时还没有亲自测试这些模型。

与对应的 Llama 3.1 模型相比，展示的图表显示 Hermes 在一些基准上获胜，在另一些上落后，并非全面领先。Nous 还强调用户可引导性和更少的限制。我喜欢在获得更多控制权的同时保持类似性能的可能性，但也承认，光凭图表无法判断它在所有人的任务上表现如何。