Ace 计算机操作智能体：快速桌面与浏览器演示

摘要

30 秒看懂

Matthew Berman 评析 General Agents 的 Ace 计算机操作产品发布，包括 macOS、Chrome、Premiere 和 HubSpot 上的演示。他重点介绍公布的速度和基于行为的训练，同时区分公司演示、基准数据与未来的独立测试。

1跨应用工作流示例包括分享图片，以及压缩、上传和分享文件。
2机票与联系人任务智能体进行机票搜索，并在标为 2 倍速的演示中录入联系人。
3公布的基准公司比较了点击准确率和动作延迟，而不是所有任务的端到端可靠性。
4基于行为的训练公司称模型从人们执行任务的录屏和输入日志中学习。

要点建议

Ace 演示了文件分享、编辑和机票搜索等桌面与浏览器工作流。
联系人录入演示标为 2 倍速，其他示例标为 1 倍速。
公司在其选择的基准条件下公布了点击准确率和动作预测延迟。
General Agents 称它利用屏幕、鼠标和键盘活动等行为记录进行训练。
视频录制时 Berman 尚未独立测试 Ace。

主题Computer use 智能体 Benchmarks

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

快速计算机操作演示

Berman 介绍 Ace 并回顾浏览器和桌面任务。他指出自己尚未亲自测试产品。

General Agents 展示了 Ace，这款计算机操作智能体能够控制浏览器和桌面应用。在我看来，发布演示的速度非常快，尤其与我试过的缓慢且容易出错的计算机操作智能体相比。不过我还没有亲自测试 Ace，因此评价基于公司的示例和公布的基准。

一段演示中，Ace 在 Chrome 中找到一张狗的图片，并通过 iMessage 分享。另一段演示中，它在 macOS 上压缩文件、将压缩包上传到 Google Drive，并分享链接。公司将这些示例标为正常速度。

演示不只限于浏览器。在 Premiere 中，Ace 将视频片段减速、分割并开始导出 MP4。其吸引力在于，人可以描述一个多步骤任务，让智能体操作相关界面，而不必手动完成每次点击。

任务与公布的基准

示例包括机票查询和联系人录入。图表报告点击准确率和动作预测延迟。

机票搜索示例在 Google Flights 上查找从旧金山到纽约的航班。另一个示例逐一将表格中的联系人添加到 HubSpot；该演示标为 2 倍速。这些例子展示了不同任务，但不能证明其在所有真实场景中的表现。

公司的图表比较了正确点击预测率，展示的测试中 Ace Control Medium 接近 80%。延迟图表报告 Ace Control Small 约为 324 毫秒、Medium 约为 533 毫秒，而 Operator 约为 6.4 秒。这些是特定条件下公布的基准结果，不能全面衡量端到端任务的可靠性。