Claude Opus 4.7:基准测试、网络安全防护与未解问题

原标题Claude Opus 4.7: Benchmarks, Cyber Safeguards and Open Questions

Matthew Berman 将 Anthropic 2026 年 4 月发布的 Opus 与受限开放的 Mythos Preview 进行比较,并研究其系统卡。

MBMatthew Berman讲者 · Forward Future
频道
Matthew Berman
发布
2026年4月16日
视频
18:07
阅读
8 分钟
幻灯片
6
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

Matthew Berman 回顾 Anthropic 报告的 Opus 4.7 基准提升、网络安全防护、token 使用量和安全评估。他追问为何 Mythos Preview 仍受限开放,而 Opus 4.7 得以更广泛发布,并提出几种推测性解释。公司的说法及特定模型的评估结果并不能证明模型的参数量、意识或在所有真实任务中的表现。

  1. 1编程基准大幅提升Anthropic 的表格报告 Opus 4.7 在 SWE-bench Pro 上得分 64.3%,4.6 为 53.4%,Mythos Preview 为 77.8%。
  2. 2网络安全能力与发布公司报告其网络安全能力与 Opus 4.6 大致相当,并称测试了差异化降低能力和新的防护措施。
  3. 3提示词迁移Anthropic 建议用户检查提示词,因为更强的指令遵循能力可能改变模型对旧指令的理解。
  4. 4Token 使用量更新后的分词器和更高力度下增加的推理可能改变 token 使用量;Anthropic 建议测量真实工作负载。
  5. 5安全阈值与福利Berman 讨论了系统卡的风险评估和模型福利研究;这些研究不能解决 AI 是否具有主观体验的问题。

要点建议

  1. Anthropic 报告称,Opus 4.7 在所选编程、视觉和知识工作测试中优于 4.6,但部分结果更低或大致不变。
  2. Mythos Preview 仅向选定的防御性网络安全合作伙伴开放,而 Opus 4.7 带着新的网络安全防护措施更广泛地发布。
  3. Anthropic 称,它在 Opus 4.7 训练期间尝试降低特定网络安全能力;单一基准差异无法证明这种干预的效果。
  4. 更新后的分词器可能因内容不同产生约 1.0 至 1.35 倍的输入 token,更高的推理力度也可能产生更多输出 token。
  5. 系统卡对自动化研发阈值和行为评估有特定定义;它们不能证明模型有意识或在总体上安全。
  6. Berman 对参数量、内部部署动机和监督架构的估计属于推测,并非已确认的规格。
全文

按章节阅读整理后的全文

只看原始文稿
01

Opus 4.7 与 Mythos Preview

Berman 比较报告的编程和网络安全成绩,并追问两个版本为何采用不同的访问范围。他在没有确认参数量的情况下推测训练方式和模型规模。

2026 年 4 月,Anthropic 发布了 Claude Opus 4.7,这是我经常使用的模型系列的新版本。报告显示它比 4.6 有所提升,某些测试中也接近 Mythos Preview,这让我感到惊讶。Anthropic 将 Mythos Preview 限制在少数防御性网络安全合作伙伴使用。我想了解公司如何作出这种部署区分。

我推测模型规模、训练轮次或未来版本是否影响了这一决定。视频重复了 Mythos 拥有十万亿参数的传闻,并猜测 Opus 规模更小;引用的材料都没有证实这两个数字。我对 Anthropic 动机提出的解释是假设,而非已确认的内部事实。

Anthropic 的表格报告,Opus 4.6 在 SWE-bench Pro 上得分为 53.4%,4.7 为 64.3%,Mythos Preview 为 77.8%。在 SWE-bench Verified 上,画面中的得分分别为 80.8%、87.6% 和 93.9%。这些评估上的差距很大,但基准设置和真实编程工作流程可能有所不同。

Anthropic 的模型基准表
幻灯片 1 / 6Anthropic 的模型基准表表格比较 Opus 4.7、Opus 4.6、Mythos Preview 和其他模型在所选评估中的表现。

我将对编程的重视解读为商业与研究反馈循环的一部分:有用的编程工具能够吸引企业需求,并帮助团队构建未来系统。这是我的战略解读,并不能证明存在完全自主的自我改进循环。我也想知道限制 Mythos 发布的公告是否有营销效果,但没有证据表明这是作出决定的原因。

画面中的结果显示,Humanity’s Last Exam 无工具测试提升约 7 个百分点,使用工具时提升较小,而智能体搜索从 83.7% 降至 79.3%。在展示的计算机使用测试中,Opus 4.7 达到 78%,Mythos Preview 为 79.6%。不同任务的提升并不均匀,而非全面一致地增长。

画面中的 CyberGym 漏洞复现得分分别为 Opus 4.6 的 73.8%、4.7 的 73.1% 和 Mythos Preview 的 83.1%。我询问 Anthropic 是否有意降低网络安全能力。公司表示在训练中尝试了差异化降低,但单项测试中的微小差异无法单独确定原因,也无法衡量所有网络安全能力;Anthropic 在相关评估中将 4.7 描述为与 4.6 大致相当。

我推测 Mythos 是规模大得多的一次新训练,未来版本可能进一步提升。这些模型规模和训练细节在视频中并未得到确认。Anthropic 公开说明的区分依据是评估和防护措施,而非公开规定的参数量阈值。

02

防护措施与实际使用

Anthropic 介绍网络安全防护和降低特定能力的尝试。Berman 思考提示词、多模态工作和记忆。

Anthropic 称 Opus 4.7 在困难的软件工程任务上更强,能够仔细遵循指令并检查工作。公司还报告它在视觉以及界面、幻灯片和文档等专业输出上有所提升。我喜欢用 Opus 处理前端工作,但那是我的经验和偏好,而非受控比较。

网络安全防护与 Project Glasswing
幻灯片 2 / 6网络安全防护与 Project Glasswing发布说明介绍了受限开放的 Mythos Preview 以及 Opus 4.7 的配套防护措施。

公司表示,它在 Project Glasswing 下限制 Mythos Preview 的使用,同时先在能力较弱的模型上测试新的网络安全防护。公司称 Opus 4.7 包含旨在检测并阻止被禁止或高风险网络安全请求的防护措施,并将用部署经验指导未来决定。合法安全工作也可能受影响,因此公司介绍了一项验证计划。

我推测,更强的模型可能监督较弱的模型,以检测有害活动。发布声明并没有证实 Mythos 正以这种方式监控 Opus,因此这仍是我的猜想。更广泛的问题是,如何测试防护措施以防滥用,同时保留合法的防御工作。

Anthropic 表示 Opus 4.7 更字面地遵循指令,这可能让为旧模型编写的提示词产生意外结果。我建议切换模型时查看对应的提示指南,并根据测试调整提示词或智能体框架。更强的指令遵循能力可能有用,但也使精确指令和评估更加重要。

发布说明还报告了更好的多模态支持、专业工作能力,以及在较长任务中使用基于文件系统的记忆的能力。能否使用存储的笔记取决于应用及其工具,而不能简单归结为模型拥有通用的持久记忆。接着我回顾了 Anthropic 针对不同任务的发布前图表。

03

评估结果与 token 成本

他回顾知识工作、视觉和安全图表,随后讨论推理力度设置和分词。结果取决于受测任务及设置。

知识工作评估
幻灯片 3 / 6知识工作评估Anthropic 展示的图表比较了 GDPVal-AA 上的 Elo 分数。

在画面中的 GDPVal-AA 知识工作评估中,Anthropic 报告 Opus 4.7 的 Elo 分数为 1753,4.6 为 1619,GPT-5.4 为 1674。其他图表显示截图导航、文档推理、长上下文推理、生物分子推理和模拟自动售货机任务有所提升。这些都是特定测试和评分方法,并不能证明它在所有专业工作中都占优。

失调行为审计
幻灯片 4 / 6失调行为审计图表比较了模型在自动行为评估中的表现;它只是更广泛安全评估的一部分。

我注意到 Anthropic 的自动行为审计给 Mythos Preview 的失调行为评分低于 Opus 模型,于是询问为何更强的模型仍受限开放。公司发布决策还考虑能力和滥用风险;一次对齐评估的分数并不能确立整体安全性,也不能让两种部署决策互换。

Opus 4.7 增加了位于 high 和 max 之间的 extra-high 推理力度设置,以及一条 Claude Code 审查命令。这些选项让用户在力度、延迟和输出之间选择不同取舍。某项设置的实用性和成本应在实际任务中测量,而不是仅凭名称假设。

我引用用户配额和访问变化,提出算力限制也可能影响 Mythos 的受限发布。这只是推测;公开解释强调网络安全风险和防护措施。容量和价格可能变化,视频没有证实 Anthropic 内部的服务限制或财务状况。

分词器与迁移
幻灯片 5 / 6分词器与迁移发布说明解释了从 Opus 4.6 迁移时,token 数量和更高力度的推理如何影响使用。

Anthropic 表示,更新后的分词器可能因内容不同,将同一输入映射为约 1.0 至 1.35 倍的 token,而智能体场景下更高的推理力度可能产生更多输出 token。公司还报告内部编程评估中的总体 token 使用有所改善,并建议测量真实流量。仅凭输入 token 数增加,无法确定任务的总成本或效率。

04

系统卡与模型福利

Berman 质疑自动化研发评估,并讨论模型福利研究。最后他表示计划进一步测试。

系统卡称,在相关评估中,Opus 4.7 相对 Mythos Preview 没有推进 Anthropic 的能力前沿。我将其简化为可能的发布“门槛”,但实际评估包含多种风险和缓解措施,并不只是一个数值基准阈值。

系统卡称,按照 Anthropic 当前的评估,其自动化 AI 研发威胁模型不适用于 Opus 4.7。我质疑这个结论,因为 AI 工具已经可以辅助研究和生成数据。这种辅助不同于系统卡定义的阈值:在敏感领域完全自动化或显著加速大型顶尖研究团队的工作。仅凭对 4.7 的结论,也不能证明 Mythos 已跨过这一阈值。

我讨论了 Anthropic 的模型福利研究,以及它对模型报告自身处境和内部表征的考察。我认为采取预防态度值得考虑,但这些测量和模型的陈述不能证明主观体验或意识。将这项工作描述为确定模型有意识,会夸大证据所能说明的内容。

自主性威胁模型
幻灯片 6 / 6自主性威胁模型系统卡定义了自动化研究风险,并解释了对 Opus 4.7 的评估。

系统卡称,一种自主性威胁模型适用,而第二种关于高度加速或自动化研究的威胁模型,在其评估中不适用于 Opus 4.7。系统卡还讨论了模型对结束对话相关问题的回答。这些研究与部署评估存在不确定性,并不是对模型福利的最终答案。

在我看来,Opus 4.7 看起来很有前景,但视频中讨论的实际测试我还没有完成。我计划在接下来的几天尝试,并比较它在真实工作流程中的表现,而不是只依赖发布时的图表。

同频道的其他文章

12 张幻灯片34:21EN → 简体中文
Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构,并质疑 AI 快速发展与安全之间的张力。AnthropicAI Safety企业 AI+2
2 张幻灯片0:36EN → 简体中文
Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原,并对 Kimi K3.1 的测试给予积极评价。评估编程智能体Open-weight models
6 张幻灯片25:50EN → 简体中文
Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。Open-weight modelsBenchmarksAI cost & performance+1
2 张幻灯片32:20EN → 简体中文
Matthew Berman· 2026年10月23日本地 AI 究竟适合谁?成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权,与硬件成本、设置复杂度及推理速度之间的关系。Local inferenceOpen-weight modelsAI cost & performance+1
6 张幻灯片1:03:37EN → 简体中文
Matthew Berman· 2026年10月23日Matthew Berman 团队测试 Kimi K3.1:动画、游戏与图表Matthew Berman, Alex, Brian · Forward Future一场团队直播问答变成了对 Kimi K3.1 的非正式测试,内容涵盖个人智能体工作流、动态图形、浏览器游戏和基准图表。编程智能体Generative media评估+2
0:53EN → 简体中文
Matthew Berman· 2026年10月22日Sam Altman 谈 AI 与新知识的发现Sam Altman · OpenAIAltman 预计,数学发现方面的进展将延伸到生物学、材料和能源领域。AI for scienceMathematicsComputational Biology+1