Claude Sonnet 4.5：编码、长任务与模拟桌面

摘要

30 秒看懂

Berman 研究 Claude Sonnet 4.5 报告的编码结果，并讨论更长的智能体运行。他还试用交互桌面模拟；视频中的 30 小时运行与 METR 的任务完成时间范围是不同的指标。

全文

对照原始文稿

Berman 解读 2025 年发布和公司报告的评估。

我解读 Anthropic 的 Claude Sonnet 4.5 发布，重点关注编码、较长的智能体任务和生成界面演示。这段 2025 年视频由 Vultr 赞助；模型排名、价格和可用性均属历史信息。

Anthropic 将 Sonnet 4.5 称为领先的编码模型，并报告 SWE-bench Verified、Terminal-Bench、工具使用、计算机操作和数学结果。这些是公司在特定设置下报告的评估，不能证明模型在所有任务中都最好。

他讨论 METR 的任务时间范围图表及效率。

我讨论 METR 关于任务时间范围的研究：它按人完成任务所需时间衡量任务，并估计系统在指定成功率下能完成多长的任务。视频中的图表使用特定任务集上的 50% 成功率指标。

我把该图与 Anthropic 报告的一次超过 30 小时的模型工作过程比较。这是不同的测量：一次智能体运行的经过时间不能证明其 METR 任务时间范围达到 30 小时，而且该运行涉及周围的智能体系统。

除了时长，我还希望系统高效完成任务。我讨论 Greg Kamradt 对行动效率的关注以及每瓦智能的概念，同时承认很难跨任务定义一个可比较的统一指标。

他测试模拟邮件、计算器、待办和浏览器界面。

我试用名为 Imagine with Claude 的交互概念演示，它根据提示生成桌面式界面。我认为这可能是软件未来的一个方向，但这是预测，并不能证明现有应用已经过时。

一个提示生成了包含模拟邮件的未来风格界面。点击和回复会让演示生成更多界面内容；我承认这是模拟，并不会真的发送邮件。

我要求生成计算器和待办清单，然后与生成的界面互动。演示展示了动态生成界面的可能性，但延迟和底层实现限制了仅凭几次交互能得出的结论。

我要求生成浏览器并模拟搜索。演示生成的是 Google、Wikipedia 和 Reddit 的外观，而非实际浏览这些网站，因此不能把页面当作实时网络结果。

他讨论报告的评估、安全说法及历史价格。

我提到一项报告中的越狱，但不复述不安全内容，并展示了一个趣味网站演示。单次报告的越狱或趣味输出本身不能概括模型的整体安全或编码表现。

Box 的 Aaron Levie 报告称，他们测试了 1500 多份文档中的 4 万个字段，发现相对 Sonnet 4 的整体成绩提高 4 个百分点。这是公司针对该评估报告的结果，并非对其他数据集的独立保证。

我讨论一份据称提取出的系统提示，并猜测其中某些指令的原因。视频没有独立验证完整提示的真实性，我对作者动机的解释也是猜测。

Anthropic 首席执行官 Dario Amodei 称，Claude 编写了支持 Claude 及其未来版本的大部分代码。我将这一说法与更长的自主工作流联系起来；视频没有独立测量代码比例，也没有证明无限制的自我改进循环。

我读出发布时的价格，并鼓励观众试用模型。这些数字描述的是发布时期，如今的费用和模型可用性可能不同。