Claude 3.5 Sonnet 的 2024 年电脑操作测试版：演示与局限

摘要

30 秒看懂

在这段 2024 年 10 月的视频中，Matthew Berman 讨论了 Anthropic 升级后的 Claude 3.5 Sonnet、宣布即将推出的 Haiku 模型，以及新进入公开测试的电脑操作界面。他回顾基准测试说法，解释截图与操作的循环，并播放 Anthropic 的表单填写、网站编辑和行程规划演示。 Berman 没有在本视频中独立测试电脑操作。当时该功能仍处于实验阶段且容易出错，Anthropic 建议使用隔离环境、限制权限，并对有重要后果的操作进行人工确认。

1基准测试的背景Anthropic 报告了选定任务的表现提升，但展示的比较和分数属于特定历史时期与任务。
2工具辅助的测试版Claude 理解截图并提出由配置好的环境执行的操作；没有集成时它无法直接控制电脑。
3虚构的供应商表单Anthropic 的演示在填写表单前搜索电子表格和 CRM。
4限制权限Anthropic 建议使用隔离环境、限制访问，并对有重要后果的操作进行人工确认。
5编码演示智能体在多次用户提示下打开编辑器、应对服务器错误并修改网站。

要点建议

升级版 Sonnet 和电脑操作测试版于 2024 年 10 月宣布；Claude 3.5 Haiku 则计划稍后发布。
电脑操作结合了模型对截图的理解与执行鼠标、键盘操作的外部工具。
Anthropic 精选的演示展示了可能的工作流程，并不保证任意任务都能成功。
对于测试版，官方建议使用隔离环境、最小权限、限制访问并进行人工确认。
Berman 对界面变化的愿景是一项预测，而他明确表示没有在本视频中测试该功能。

主题Computer use AI agents Benchmarks AI security Developer productivity

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

更新模型与基准测试

Berman 回顾 Anthropic 在 2024 年 10 月的公告和选定基准分数。Haiku 当时宣布将在稍后发布。

Anthropic 于 2024 年 10 月 22 日宣布升级版 Claude 3.5 Sonnet、即将推出的 Claude 3.5 Haiku，以及公开测试中的电脑操作能力。在这段视频中，我回顾公告并展示 Anthropic 的演示。Sonnet 在公告时已可使用；Haiku 则宣布稍后发布，本文描述的可用性和结果反映的是当时情况。

幻灯片 1 / 6Anthropic 的历史模型基准测试表表格比较了 2024 年 10 月选定模型在不同任务和配置下的分数。

基准测试表比较了升级版 Sonnet、前代模型和选定竞争对手在推理、知识、数学、编码及工具使用方面的表现。我注意到，综合比较表中没有 OpenAI o1。这些是厂商报告的特定测试和配置结果，并不能证明某个模型在所有任务上都最好，也不是当前排名。

展示的分数显示，Sonnet 的 GPQA 从约 59% 升至 65%，MMLU-Pro 从约 75% 升至 78%。在画面展示的数学测试中，Gemini 1.5 Pro 仍然领先。Anthropic 报告 SWE-bench Verified 的成绩从 33.4% 升至 49.0%；这些基准结果衡量的是指定任务，本身不能确定模型在所有软件工作中的表现。

Anthropic 还表示，Claude 3.5 Haiku 在许多评估中与此前更大的 Claude 3 Opus 表现相当。这是对选定测试的比较，并不是说较小模型在所有用例中都超过 Opus。我主要关注的是另外推出的电脑操作测试版。

电脑操作如何工作

测试版结合截图与通过集成执行的电脑操作。虚构供应商表单演示展示了一种可能的工作流程。

电脑操作让开发者将 Claude 与工具环境集成，由该环境提供截图并执行移动指针、点击和输入等操作。它当时通过 API 作为实验性的公开测试版提供，并非不需要软件配置就能自主运行的功能。Anthropic 警告称，它可能速度慢且容易出错。

在 Anthropic 的虚构供应商请求演示中，一位演示者要求 Claude 在电子表格中查找公司信息，必要时查看 CRM，然后填写表单。智能体查看截图，发现表格中没有该公司后搜索 CRM，将详细信息转入表单并提交。这个预设示例说明了工作流程，并不是成功率测量。

幻灯片 2 / 6虚构的供应商表单请求演示要求 Claude 查找信息并填写一份虚构表单。

我设想，随着用户要求智能体执行任务，界面会变得更加动态，只在需要时显示信息。这是我的预测，并非演示已经证明的能力。系统仍然依赖现有图形界面和执行模型建议操作的执行层。

注意事项与界面设计

Berman 回顾隔离、权限和人工确认，并讨论截图、坐标以及他对未来界面的预期。

文档建议使用具有最小权限的专用虚拟机或容器，避免使用敏感凭据，限制互联网访问，并要求人工确认可能产生重要后果的决定。这些预防措施很重要，因为模型可能犯错，也可能在读取内容时遇到恶意指令；广泛授予账户访问权限本身并不安全。

该流程将截图发送给模型，并将提出的屏幕坐标和键盘操作转换为工具调用。工具模式包含移动指针、点击、拖动和截图等操作。根据之前的项目经验，我对其精度持怀疑态度，但我并没有在本视频中测试 Anthropic 的实现。

Anthropic 解释称，其多模态模型经过训练，可以理解屏幕图像并确定操作位置。在 2024 年 OSWorld 仅使用截图的评估中，Anthropic 报告的任务成功率为 14.9%；允许更多步骤时升至 22.0%。这些有限的基准结果表明，一次成功的精选演示不能证明它能可靠完成任意工作流程。

我将电脑界面比作人形机器人：现有软件主要围绕人类交互设计，因此使用相同的屏幕、鼠标和键盘，可以触达没有专用 API 的应用。我预计面向 AI 的操作系统或界面最终可能改变这种情况，但这是一项预测，也不能证明每项任务都需要图形界面访问。

我还认为，代表用户操作个人账户的智能体，可能有利于已经深度整合进手机和操作系统的公司。访问用户账户是另一个涉及信任和权限的问题；模型能够操作界面，本身并不足以成为授予广泛凭据的理由。

编码和规划演示

Anthropic 演示者展示了网站编辑和日出行程规划。Berman 最后展示了一个意外操作的例子，并指出自己没有亲自测试该功能。

第二个 Anthropic 演示中，负责开发者关系的 Alex 给 Claude 一个网站任务。Claude 打开浏览器，请网页版 Claude 创建一个 1990 年代风格的个人主页，保存生成的内容，并在 VS Code 中打开文件。演示者发出了多次提示，因此录像并未展示单次完全自主的端到端任务。

智能体尝试在编辑器终端中启动本地服务器。最初的 Python 命令失败后，它读取终端输出并改用 Python 3 重试。演示者随后注意到缺失的文件图标和终端错误，请 Claude 找到相关代码行；智能体将其删除、保存文件并重新加载网站。