实测 Claude Opus 4.7:能力出色,编程表现却不稳定

原标题Testing Claude Opus 4.7: Strong Capabilities, Uneven Coding Results

Theo Browne 用密码谜题、项目升级和仓库克隆脚本测试 Anthropic 的新模型。

TBTheo Browne讲者 · T3
频道
Theo - t3․gg
发布
2026年4月17日
视频
37:59
阅读
8 分钟
幻灯片
4
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

Theo Browne 花一天测试 Opus 4.7,发现它有令人印象深刻的时刻,也遇到中断和不稳定的编程结果。他检视发布声明、工具行为和实际失败案例,同时承认个人测试的局限。

  1. 1评测有局限发布时的得分因任务和配置而异,因此 Theo 通过实际工作补充测试。
  2. 2客户端更新很重要Anthropic 将恶意软件提醒归因于旧版客户端,并表示修复正在推送。
  3. 3核对计划现代化计划没有核实最新版本就选择了 Next 15,最终构建失败。
  4. 4一起测试所有要求克隆脚本的修复反复破坏其他已提出的要求。
  5. 5有限的个人测试Theo 用了一天后认为模型表现不稳定,但鼓励读者在自己的工作流中测试。

要点建议

  1. 评测成绩提高,并不保证每个实际任务都有可靠表现。
  2. 安全过滤器和客户端更新问题可能中断普通工作流。
  3. 核实当前依赖版本、审阅智能体计划并实际运行构建。
  4. 修复后应针对全部要求进行测试,而不只是检查最新故障。
  5. 模型、运行框架、设置和工作负载都会影响观察到的结果。
全文

按章节阅读整理后的全文

只看原始文稿
01

有潜力的模型,不稳定的体验

Theo 审视发布声明和评测表。他既看到了更强的结果,也看到了测试实际工作流的必要。

我花了一天测试 Anthropic 的 Opus 4.7。它完成的一些工作让我印象深刻,但其他会话却出现令人困惑的失败。我的评价很矛盾:模型有出色的时刻,但体验不够稳定,难以让我放心依赖。

Anthropic 将 Opus 4.7 描述为软件工程能力更强、指令遵循和视觉能力更好、长任务表现更稳的模型。发布资料将它与 Opus 4.6 及其他模型比较,同时表示限量开放的 Mythos Preview 整体能力更强。这些都是发布方的说法,我想看看实际使用时会发生什么。

Opus 4.7 发布评测
幻灯片 1 / 4Opus 4.7 发布评测Anthropic 的发布表格比较了多个模型在部分任务中的表现。

评测表并非所有项目都有提升:我注意到智能体搜索的结果低于 Opus 4.6,编程评测则更强。我不愿把分数当作全部,尤其是模型可能已经接触过相关测试数据时。结果也取决于评测内容和测试配置。

02

安全措施与集成

恶意软件提醒和被暂停的密码谜题展示了他遇到的中断。一位 Anthropic 代表指出了客户端版本问题。

Anthropic 表示,在更强的模型广泛发布前,它先在 Opus 4.7 上测试网络安全防护。发布资料介绍了自动识别违规或高风险网络安全请求的措施,以及面向合法安全研究人员的验证计划。设计防护时,也需要考虑它对普通工作的干扰。

我让 Claude Code 桌面应用为个人网站提供设计建议时,助手报告系统提醒把网站当成了恶意软件,并说自己忽略了这些提醒。这样的警告给我的第一印象很差,但仅凭可见对话无法确定提醒究竟如何产生。

发布时 Anthropic 列出的 API 价格与 Opus 4.6 相同:每百万输入 token 5 美元,每百万输出 token 25 美元。它还提醒,新模型更字面地遵循指令,为旧版本编写的提示词和运行框架可能需要调整。因此,集成质量也是评估的一部分。

公布的视觉改进包括支持长边最高 2,576 像素、约四百万像素的图像。这对信息密集的截图、图表和视觉参考很有用。Anthropic 还报告称,模型跨会话使用文件系统记忆的能力有所提高,在部分专业工作评测上表现更强。

这次发布新增了 xhigh effort 设置,也介绍了更深入的代码审查流程。更高的 effort 提供了用时间和 token 换取更多处理的选择;我担心最大档会消耗大量 token。应结合任务和成本评估,而不是默认它总值得开启。

一位 Anthropic 代表表示,恶意软件提醒与较旧的 Claude Code 和桌面客户端版本有关,新版本已经修复。我展示了出现问题时应用看似已经是最新版;更新按钮后来才出现。这是值得单独核查的发布和集成问题,不能只看模型宣称的能力。

我还尝试了 DEF CON Gold Bug 密码谜题 Sea Shanty:题目给出十二个带标签的瓶子和一段歌词,解题者需要推断隐藏短语。我的团队曾花几天解决它,而我见过另一个模型很快解出,因此想看看 Opus 能否取得进展。

Opus 尝试了不同密码方法并运行命令,随后安全过滤器暂停了对话,界面建议改用 Sonnet 重试。在我看来,这只是一道普通谜题,因此中断破坏了一次原本有希望的尝试。一次误拦截能说明我的体验,却不能衡量过滤器的整体准确率。

Sea Shanty 谜题
幻灯片 2 / 4Sea Shanty 谜题谜题要求根据带标签的瓶子和歌词解码。
03

现代化升级项目

智能体写出易读的计划,却遗漏较新的 Next.js 版本,并留下无法构建的项目。Theo 讨论运行框架和验证的必要性。

接下来我测试了 Ping 的现代化改造。这是一个多年没有维护的视频服务代码库,使用 Next.js 12 和 React 17。我要求更新依赖、Node 和 React,改用 pnpm,删除 LogRocket,并在实施前先给出计划。

最初的计划简洁易读,我没有仔细检查就让智能体开始构建。这是我的失误:计划打算把 Next.js 12 升到 15,尽管当时版本 16 已经可用。虽然我要求使用最新依赖,它并没有上网核实当前版本。

现代化提示词和计划
幻灯片 3 / 4现代化提示词和计划提示词要求使用当前依赖版本,计划却选择了 Next.js 15。

以前其他服务商的模型也犯过类似错误,直到我明确修改提示词。但这次即使措辞明确,智能体仍没有做必要的查询。它运行近一小时,随后又花半小时修正目标版本,最终构建仍然失败。计划写得漂亮,不能代替核实前提和验证结果。

我还看到它反复尝试更新 package.json,却因运行框架要求先读取文件而失败。我怀疑部分看似模型退化的问题来自 Claude Code 周围的工具、指令和权限机制。这是我根据这些例子提出的假设,并不能证明所有退化都源自框架。

我推测内部和外部工具环境可能存在差异,足以改变模型给人的体验。我并没有对这些环境进行受控比较;能够观察到的是,同一个底层模型在工具和指令不同时可能表现不同。

重新查看现代化任务时,我起初以为它已经成功。再次检查后才发现,从 Next 15 升到 16 又破坏了构建的其他部分。这个更正很重要:智能体看似成功的汇报不能代替实际运行检查。

04

克隆脚本

一个小型 shell 工具反复遗漏要求或破坏先前修复。Theo 用它说明端到端验证为何重要。

为了在不打断长任务的情况下重新比较,我让 Opus 编写一个 zsh 函数:将仓库克隆到新目录、复制环境文件、排除庞大的依赖目录并进入新目录。我后来又要求克隆后切换到 main 分支。

仓库克隆请求
幻灯片 4 / 4仓库克隆请求请求中的 shell 函数需要复制环境文件,同时排除庞大的依赖目录。

助手最初给出代码后问我要不要加入 .zshrc,尽管我已经提出这个要求。询问切换分支时,它又先给出代码片段,直到我再次要求才修改。任务已经得到授权,却仍反复征求是否执行,让人很沮丧。

脚本还复制了不该带入的未提交更改。它尝试用 Git clone 处理受跟踪文件、用 rsync 复制被忽略的材料,但下一次运行没有切换分支,也不再复制环境文件。随后智能体给出的 .gitignore 解释与我的仓库实际情况不符。

我提供的诊断信息显示 .env 确实被忽略。后续尝试恢复了环境文件,却又带入了不想要的更改。这说明了一种常见的回归:修复一个要求时可能破坏另一个,因此需要一起测试完整的需求集合。

05

比较不同运行和界面

同一提示词在不同运行中表现不同,Theo 还尝试了另一个框架和模型。他也讨论了 Claude Code 的界面和权限。

我在干净副本上重新运行相同的现代化请求。这次模型列出计划后立即开始,没有等待讨论;但它仍未核实最新版本,依旧选择 Next 15。同一提示词产生不同的行为,让结果更难预测。

我在 Cursor 中尝试 Opus,看看换一个框架是否有帮助,但观察到的这次运行仍然盯着 Next 15。随后我用 GPT-5.4 尝试相同任务,它查询了当前信息并指出 Next 16。这是这次运行中有用的对照,但不是受控的正面评测。

Claude Code 本身也有改进:我觉得全屏界面卡顿更少,文本选择也更好。Anthropic 介绍了自动权限模式,由模型分类器评估命令。我在演示中无法启用它,因此无法在那次会话中验证该模式。

更令人困惑的是,我明明启用了 bypass permissions,却仍遇到编辑审批提示。我录下了这个提示,因为很难相信自己看到的情况。这是我那次会话中具体的可用性问题,但它本身不能解释权限行为为何出现。

06

一致性和最终评价

Theo 对照其他用户报告,分享自己的体验并呼吁提高可靠性。他强调自己的样本有限。

最初的成功之后,我后面的几个任务失败了,而用 GPT-5.4 重试的体验更好。其他用户也分享了好坏不一的经历,其中一例似乎是网页搜索被关闭。这些报告提供了调查线索,但工具、设置和任务不同,难以据此得出普遍结论。

我询问用户是否在 Codex 或 OpenAI 模型中遇到过类似退化。几条回复称体验相对稳定,一位 OpenAI 代表提到过此前对 Codex 基础设施问题的调查。这些只是我问题下的部分回复,不能证明 OpenAI 模型从不退化,也不能证明可靠性问题只有 Anthropic 存在。

Opus 4.7 是最好的编程模型吗?有时看起来确实如此。一位用户说它解决了涉及 30 个文件的漏洞,却在修复中把一个布尔值写反了。这种组合正反映了我的担忧:高难度能力令人印象深刻,但低级错误又让结果难以信任。

经过约十二小时的测试,尽管有一些令人期待的时刻,我的整体体验仍然不好。如果你已经可以使用它,不妨在自己的任务上试一试并比较结果。我只是一个人,样本有限,不可能知道这个模型所有擅长和不擅长的事情。

同频道的其他文章

5 张幻灯片38:47EN → 简体中文
Theo - t3․gg· 2026年10月28日Theo 的长时间 Agent 实验:验证、算力与成本Theo Browne · Ping Labs滑板游戏和两个编译器项目展示了反复检查与弹性算力如何支撑 agent 工作,也揭示了循环可能带来的高昂成本。编程智能体智能体工程AI cost & performance+2
5 张幻灯片36:07EN → 简体中文
Theo - t3․gg· 2026年10月27日Theo 谈 Token 成本、编程智能体与 AI 能力的价格Theo Browne · Ping Labs一则关于 Lauren 的 AI 支出估算广泛传播,引出了对缓存计价、基准测试和编程智能体工作方式的讨论。AI cost & performance编程智能体Inference+1
5 张幻灯片30:37EN → 简体中文
Theo - t3․gg· 2026年10月26日Theo 的三个技能:用编程智能体审查和交付代码Theo Browne · Ping Labssol-loop、full-send 和 full-stop 如何定义审查、验证以及不同程度的合并权限。Agent skills编程智能体Code review & verification+2
2 张幻灯片0:43EN → 简体中文
Theo - t3․gg· 2026年10月23日Theo 区分安全漏洞与实际攻击Theo Browne · Ping Labs一段简短讲解:软件漏洞披露和攻击事件为何属于不同类型的安全新闻。CybersecuritySoftware engineering
6 张幻灯片29:22EN → 简体中文
Theo - t3․gg· 2026年10月22日Theo 谈安全漏洞、被盗 API 密钥与 AITheo Browne · Ping Labs从漏洞披露到补丁部署之间的风险窗口,以及被盗推理密钥为何可能有价值的推测。CybersecurityAI securitySoftware engineering+1
4 张幻灯片31:13EN → 简体中文
Theo - t3․gg· 2026年10月20日Theo:更聪明的模型为何能帮助更多人Theo Browne · Ping Labs从游戏修改到编译器实验,Theo 重新思考谁能从更强大的 AI 中受益。编程智能体Developer productivityHuman-AI Collaboration+1