Claude Opus 4.5:发布基准、价格与工具使用

原标题Claude Opus 4.5: Launch Benchmarks, Pricing and Tool Use

Matthew Berman 回顾 Anthropic 在 2025 年 11 月发布的模型、编码基准和开发者工具,并与同期模型比较。

MBMatthew Berman讲者 · Forward Future
频道
Matthew Berman
发布
2025年11月24日
视频
10:27
阅读
5 分钟
幻灯片
4
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

在一段由 Warp 赞助的 2025 年 11 月视频中,Matthew Berman 回顾 Anthropic 的 Claude Opus 4.5 发布基准、历史价格、智能体评估示例和高级工具使用功能。他还讨论 token 效率与早期用户印象。这些结果只适用于所报告的评估和设置,并非对编码或计算机操作能力的普遍排名。

  1. 1编码基准Berman 回顾 Anthropic 的 SWE-bench Verified 结果,并指出图表截断纵轴会夸大视觉差异。
  2. 2发布价格他比较历史输入和输出 token 价格,指出实际成本取决于用量。
  3. 3工程测试Anthropic 描述了其家庭测试中的出色结果;后来的说明明确了比较中的时间限制。
  4. 4航空服务基准示例Anthropic 报告了一种被基准判错的替代解决方案;其适当性取决于具体情景。
  5. 5高级工具使用工具搜索按需加载相关定义,程序化调用和示例则解决其他工具使用难题。
  6. 6输出 token 效率Berman 比较特定 SWE-bench 设置下的输出 token 数量和得分,并非所有任务。

要点建议

  1. Anthropic 在发布评估中报告,Opus 4.5 不使用扩展思考时在 SWE-bench Verified 上得分 80.9%;这是特定基准的结果。
  2. 发布时的 API 价格为每百万输入 token 5 美元、每百万输出 token 25 美元;这一历史价格可能变化。
  3. 工具搜索、程序化工具调用和使用示例旨在帮助智能体更高效地使用大量工具;它们不会创造无限的上下文窗口。
  4. Anthropic 后来介绍的一项两小时工程测试中,Opus 4.5 达到了限时条件下最佳人类成绩,并非与每位工程师进行不限时比较。
  5. 视频包含 Warp 赞助推广和早期用户评价。
全文

按章节阅读整理后的全文

只看原始文稿
01

发布基准与价格

Berman 比较报告的编码、智能体和推理分数及历史 API 价格。这些数字反映 2025 年特定评估条件。

Anthropic 在其他前沿模型发布后不久推出了 Claude Opus 4.5。在这段 2025 年 11 月的视频中,我回顾该公司报告的基准、价格和开发者功能。视频还包含 Warp 的付费赞助。

SWE-bench Verified 发布比较
幻灯片 1 / 4SWE-bench Verified 发布比较Anthropic 的图表显示 500 项任务的报告得分;纵轴经过截断。

Anthropic 的发布图表报告 Opus 4.5 在 SWE-bench Verified 上得分 80.9%,Sonnet 4.5 为 77.2%,图中还有其他模型的成绩。纵轴从约 70 而非零开始,使柱形看起来差距更大。与 Sonnet 的差距为 3.7 个百分点,结果只适用于所报告的 500 项任务设置,而非所有编码工作。

Berman 回顾了其他报告的智能体和计算机操作结果,包括 Terminal-Bench 2.0、τ²-bench 和 OSWorld。他还指出竞争模型得分更高的测试,如研究生水平推理、视觉或多语言任务。结果反映特定运行框架、配置和数据集;缺少竞争模型数字并不能确立它们的表现。

他比较自动售货机模拟排行榜和 ARC-AGI 分数,指出所展示的 Opus 结果并非每张图表都领先。这些是具有各自评分规则的历史快照,任何单一基准都不能衡量智能或工作表现的所有方面。

Anthropic 的发布价格为每百万输入 token 5 美元、每百万输出 token 25 美元。Berman 将其与当时 Gemini 3 Pro 的价格档位比较。实际账单取决于输入输出比例、缓存、提示长度和适用价格,因此不能用单一百分比概括差距。

02

工程评估与赞助

他描述 Anthropic 的性能工程测试,并介绍 Warp 的赞助内容。Anthropic 后来的说明澄清了该测试比较的时间限制。

Berman 表示 Anthropic 用一项困难的性能工程招聘测试考察 Opus 4.5,并称它优于所有被录用的候选人。Anthropic 后来更详细地说明,一个预发布模型在两小时限制下达到了最佳人类成绩;该人类使用 Claude 并给予引导,而且不受时间限制时人类可能取得更强的结果。这是特定任务的比较,并不能证明其总体工程能力更强。

视频包含 AI 编码产品 Warp 的付费推广。Berman 介绍它所称的基准排名、界面以及对并行智能体和工具的支持。这些是赞助片段中的宣传说法,并非视频中的独立评估。

03

智能体评估与工具发现

Berman 讨论航空服务基准示例和 Anthropic 的高级工具使用功能。这些工具减少部分上下文开销,但不会消除限制。

Berman 描述 Anthropic 的 τ²-bench 示例:航空服务任务原本预期拒绝修改基础经济舱预订,而模型提出先升级舱位再修改航班。Anthropic 将其描述为合法的替代方案,基准却判为错误。Berman 质疑这是否真正最优;授权、成本和情景规则都很重要。

航空服务的替代方案
幻灯片 2 / 4航空服务的替代方案Anthropic 描述了与基准预期结果不同的模型回应。

Anthropic 还推出了高级工具使用功能。Berman 解释,预先加载大量 MCP 工具定义可能在用户请求之前就占用上下文。工具搜索机制可在需要时检索相关定义,减少前期开销;这并不意味着模型真的拥有无限工具或无限上下文窗口。

他介绍三项功能:工具搜索、在代码执行环境中程序化调用工具,以及展示如何使用工具的示例。程序化调用可以让中间结果不进入模型上下文,而示例能澄清单靠模式定义可能无法表达的用法。

工具定义与上下文开销
幻灯片 3 / 4工具定义与上下文开销示例估算了多个 MCP 服务器的工具定义所占上下文。

Anthropic 的示例估计,多个 MCP 服务器的工具定义可能占用数万 token。Berman 对比传统方式和按需发现,并报告图示设置中上下文占用大幅减少。实际节省量取决于工具、模式和请求。

04

效率与早期反应

他回顾一项特定的输出 token 比较和早期用户印象。这些是历史结果和评价,而非保证。

推理强度与输出 token 比较
幻灯片 4 / 4推理强度与输出 token 比较Anthropic 的图表比较了特定设置下的 SWE-bench 得分和输出 token 用量。

Berman 接着讨论 Anthropic 的图表,它比较 SWE-bench 结果和输出 token 用量。他观察到,在该例中 Opus 4.5 比 Sonnet 4.5 使用更少输出 token 却取得更高得分。图表使用特定设置,而且输出 token 既不是完整成本,也不是衡量智能的通用指标。

最后,他引用 Dan Shipper 和 Ethan Mollick 的早期反应,他们称赞了编码和实际工作能力。这些是用户评价,并非经过控制的独立证据,不能证明该模型对所有应用都是最佳选择。

同频道的其他文章

12 张幻灯片34:21EN → 简体中文
Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构,并质疑 AI 快速发展与安全之间的张力。AnthropicAI Safety企业 AI+2
0:26EN → 简体中文
Matthew Berman· 2026年10月25日Sam Altman 谈 AI 世界中的人类价值与问题解决Sam Altman · OpenAI在一段简短的访谈摘录中,Altman 思考解决难题的乐趣,以及人在解读结果时的作用。Human-AI CollaborationFuture of WorkAI Strategy
2 张幻灯片0:36EN → 简体中文
Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原,并对 Kimi K3.1 的测试给予积极评价。评估编程智能体Open-weight models
2 张幻灯片0:21EN → 简体中文
Matthew Berman· 2026年10月24日AI 生成的 Kimi 基准图表使用了虚构分数Matthew Berman · Forward FutureMatthew Berman 要求生成一张 Kimi K3.1 Pro 基准图表,随后发现图中的数字只是示意性占位值。Benchmarks评估Generative media
6 张幻灯片25:50EN → 简体中文
Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。Open-weight modelsBenchmarksAI cost & performance+1
2 张幻灯片32:20EN → 简体中文
Matthew Berman· 2026年10月23日本地 AI 究竟适合谁?成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权,与硬件成本、设置复杂度及推理速度之间的关系。Local inferenceOpen-weight modelsAI cost & performance+1