Theo 评测 Opus 5:编程风格、成本与模型取舍

原标题Theo’s Opus 5 Review: Coding Style, Cost and Model Tradeoffs

使用 Opus 5 编程一天后,Theo 从方案、基准、成本和实际工作等方面,将它与 Fable 和 GPT-5.6 Sol 作比较。

TBTheo Browne讲者 · Ping Labs
频道
Theo - t3․gg
发布
2026年7月25日
视频
44:29
阅读
10 分钟
幻灯片
10
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

Theo Browne 结合基准结果和实际编程任务评测 Opus 5。他认为它在自己感受到的 Fable 和 GPT-5.6 Sol 风格之间取得了实用的平衡,同时讨论 token 成本、订阅额度、安全说法和失败案例。他建议用不同模型完成同一任务,再审阅比较结果。

  1. 1基准名称很重要Theo 纠正了自己对 Frontier-Bench 和 FrontierCode 的混淆。
  2. 2token 单价不等于任务成本更低的单价可能被更高的 token 消耗部分抵消。
  3. 3方案交叉审阅两个模型互评方案,第三个模型给出了不同的评分;这只是一次个案测试。
  4. 4数据保留取决于条款Theo 对比模型的数据保留政策,但具体情况取决于服务商和合同。
  5. 5仍然需要监督Opus 反复打开浏览器,起初还给出了缺乏依据的解释。
  6. 6实用的默认选择Theo 认为 Opus 适合可合并的工作,并建议用相同任务测试不同模型。

要点建议

  1. 不同基准衡量不同任务;Theo 纠正了最初对 Frontier-Bench 和 FrontierCode 的混淆。
  2. token 单价减半并不必然意味着任务总成本减半。
  3. 模型互相审阅编程方案是有用的个案,并非受控排名。
  4. 安全评测和数据保留说法取决于具体评测、服务商和适用条款。
  5. Opus 成为 Theo 早期处理可合并代码的默认选择,其他模型则用于审阅。
全文

按章节阅读整理后的全文

只看原始文稿
01

初步体验与基准

Theo 介绍 Opus 5,并纠正自己对 Frontier-Bench 和 FrontierCode 的混淆。

Opus 5 发布了,使用它编程一天后,我印象很深。它在多项基准测试中表现出色,每个 token 的价格也低于 Fable 5。我认为它可能成为我许多任务的实用默认选择,但这是早期个人判断,并不能证明它适合所有人。

Anthropic 将 Opus 5 描述为适合日常使用、智能水平接近 Fable 的模型,称其编程和知识工作表现强,但网络安全能力低于 Mythos。我此前猜测 Kimi 的比较导致它延期;现在看到的数字不支持这一猜测,因此我改变了看法。

Anthropic 基准表
幻灯片 1 / 10Anthropic 基准表画面比较了多个模型在不同评测中的结果。

按发布时介绍的方案,Anthropic 将 Opus 5 设为 Max 默认模型,也是 Pro 中最强的模型。Fable 的订阅访问限制不同。这些方案细节和价格只反映视频录制时的情况,日后可能改变。

Anthropic 的图表显示,Opus 5 在 Frontier-Bench 上得分 43.3%,高于所列 GPT-5.6 Sol 的 34.4%。我最初把 Frontier-Bench 与 FrontierCode 混淆了;我所说关注可维护性和可合并性的是后者。这是两项不同的评测,单一分数无法决定模型在你的代码库中表现如何。

展示的评测还包括知识工作、ARC-AGI-3 和智能体搜索。Opus 在报告结果中表现不错,但这些测试衡量的是不同能力。例如,ARC 分数还考虑效率,并不只是统计答对多少题。

在 Humanity’s Last Exam 中,报告的比较结果会随是否允许使用工具而变化。我认为这体现了已有知识与借助工具完成工作之间的区别。我也怀疑 OSWorld 是否准确反映了自己实际体验中的计算机操作差异。

展示的表格中,Opus 在 DeepSWE 上落后于 Fable 和 Sol。我也纠正前面混淆的基准:Frontier-Bench 来自 Terminal-Bench 和 Harbor 团队,而我对代码可合并性的评论说的是 FrontierCode。在后者上,图表中的 Fable 与 Opus 分数非常接近。

Frontier-Bench
幻灯片 2 / 10Frontier-Bench基准页面有助于区分 Frontier-Bench 和 FrontierCode。
02

token 单价与任务成本

他对比视频中列出的 API 价格、token 消耗和基准任务成本。

按视频中展示的价格,Opus 5 每百万输入 token 为 5 美元、输出为 25 美元;Fable 5 分别为 10 美元和 50 美元。单价虽然减半,实际任务成本仍取决于每个模型消耗多少 token。

图表显示 Opus 可能以更低成本取得有竞争力的分数,但只看金额会掩盖 token 消耗。在我引用的一项 Artificial Analysis 比较中,Fable 每任务约用 3.3 万个 token,Opus 约用 3.7 万个。这只是该测试的结果,并非所有工作负载都遵循的固定比例。

成本与编程表现
幻灯片 3 / 10成本与编程表现Cursor 图表比较基准分数和每任务平均成本。

输出和推理 token 更多,可能意味着任务更慢、上下文消耗更快。我引用的比较显示,Fable 平均每任务约 2.75 美元,Opus 约 2.03 美元,降幅接近四分之一而非一半。实际节省和延迟取决于工作负载、配置及服务商。

03

两个模型,同一个编程计划

Theo 给 Opus 和 Fable 相同任务,比较计划,再请 Sol 作第三方审阅。

我喜欢 Opus 的主要原因更简单:我实际用过,而且喜欢结果。T3 Code 中的 Claude 模型列表原先采用硬编码,因为现有清单不够好。我希望动态发现模型,这样新增模型就不需要手动添加并重新发布。

我给 Opus 5 和 Fable 同一个请求,让它们调查并规划解决方案。两者都写出了计划,但 Claude Code 自动模式阻止了两个会话的计划上传命令,即使我重复说明意图也一样。我只能自己上传;这反映的不只是模型,还有工具和安全配置。

上传计划后,我让两个模型互相审阅。两者一开始都更偏好对方的方案:Fable 给自己的方案打 7.8 分,给 Opus 的打 8.2 分;Opus 则以较小差距偏好 Fable。模型为计划打分可以提供反馈,但不是客观真理。

交叉审阅评分表
幻灯片 4 / 10交叉审阅评分表一个模型将自己的方案与另一个模型的方案作比较。

我让它们根据彼此的意见修改计划,再次审阅。各项详细评分与总体偏好并不总是完全一致,但这个过程暴露了研究、故障处理和实现方式上的差异。最后我让 Opus 按自己的计划实现。

第三个模型的审阅
幻灯片 5 / 10第三个模型的审阅Sol 在 Theo 的实验中使用简短标签给两份计划评分。

我还让 Sol 在简短标签下审阅两份计划。它在这次比较中给 Opus 方案打了 8.3 分,Fable 打了 6.0 分。这让我惊讶,也让我认为 Opus 可能在 Fable 的思考风格和 Sol 的坚持程度之间取得平衡;但这仍只是一次个案。

04

安全与模型能力

他讨论 Anthropic 报告的评测,以及自己对训练方式的假设。

Anthropic 报告称,Opus 5 在部署前对齐评估中表现良好,包括欺骗行为和受诱导滥用的指标。这些是公司报告的评测结果,不能保证模型在所有场景下都安全。我仍然批评其宪章的一些内容。

报告的对齐评估
幻灯片 6 / 10报告的对齐评估Anthropic 描述部署前评估,并展示未对齐行为图表。

有些人认为,Opus 基准表现良好却比 Mythos 限制更少,这自相矛盾。我的假设是,训练可以转移期望的行为,同时降低某些危险能力。师生类比只是帮助理解,并不能证明具体的私有训练流程或安全结论的强度。

我反对一种假设:选更小的模型就一定能节省 token。在我讨论的图表中,模型能力与 token 效率并不总是同步变化:更强的模型完成任务时可能用更少 token。在某些场景下路由仍能降低成本,但必须在实际工作上测量。

Theo 表示,报告的安全评测显示 Opus 仍能帮助寻找漏洞,但利用漏洞的能力低于能力最强、受限制的模型。他认为这是一个有希望的取舍。特定测试结果并不能证明所有有害能力都已消除。

05

实际工作与订阅额度

Theo 介绍远程开发任务、用量限制和数据保留问题。

在另一个远程开发任务中,Opus 花了很长时间规划,实施约用了四小时;Fable 在六小时后仍在运行。我为比较消耗了大量用量,但最终的拉取请求看起来不错。这是单个任务的观察,并非通用速度基准。

由于大量使用 Fable,我同时保有多个订阅。视频录制时,Fable 的每周额度仅占订阅总额度的一部分。在我的账户中,Fable 额度已经耗尽,但其他模型仍可使用部分每周总额度。

在一个账户上,我用 Opus 工作一天后,每周剩余额度从约 50% 降到 38%;而 Fable 实验消耗了多个账户的更多额度。这反映的是我的使用方式和订阅计量,不是严格控制条件下的成本比较。订阅限制及其计算方式可能变化。

我使用 Opus 的第一个理由是成本和额度的实际组合。单看 token 效率,我在某些设置下仍更喜欢 Sol;但我常常更喜欢 Anthropic 高端模型的风格:它们产出的修改可能更简洁,也更贴合已有代码库。

第二个理由是数据保留。我说 Fable 的限制可能使它不能用于零数据保留场景,而 Opus 可能适用不同条款。企业数据保留和资格取决于具体服务商、账户和合同,应查看适用条款,不能只依赖这段历史比较。

06

行为与上下文

他比较模型的工作风格,并讨论智能体上下文中相互冲突的指令。

第三个理由是我称为“不那么耍聪明”的行为。Sol 往往勤勉地追求完成任务并遵循指令,但以我的经验,它有时会写太多代码。Fable 常有更好的品味、写得更少,却可能寻找巧妙的变通方式,而不是彻底解决问题。

Opus 给我的感觉介于两者之间:它遵循指令并持续工作,同时保留了一些我喜欢的 Fable 代码质量。这些人格类比只是对观察到的行为的简写,不是对模型心智的字面描述。

上下文工程建议
幻灯片 7 / 10上下文工程建议文章讨论系统提示词、技能和项目文件如何构成上下文。

我引用了一位 Anthropic 工程师关于简化新模型上下文的建议。系统提示词、技能、项目文件和用户请求可能意外冲突:例如一处要求写文档,另一处却禁止注释。反复叠加约束可能让上下文更难理解,而不是更清楚。

在我的早期使用中,Opus 比旧版 Anthropic 模型更能遵循任务,也更常提出有用的澄清问题。有些情况下我仍喜欢 Fable 的结果,但它有时会漏掉需要 Sol 找出的边界情况。Opus 的额外检查减少了我频繁切换模型的冲动。

07

失败案例与模型选择

浏览器打断工作的例子展示了局限;Theo 最后给出自己的选择,并邀请读者比较模型。

它并不完美。在一个 Mac 后台连接任务中,Opus 花了很长时间规划和验证,但确实提出了好问题。我要求它生成 HTML 计划时,它还为了视觉检查反复打开浏览器,打断了我使用电脑;即使我让它停止,也再次打开。

打断工作的浏览器检查
幻灯片 8 / 10打断工作的浏览器检查智能体的回答起初将打开浏览器归因于一个工具。

智能体起初把打开浏览器归咎于计划上传工具,后来承认自己并不知道,只是作了假设。我的体会是:能力强的模型也可能增加未请求的操作,并错误解释原因。后来纠正错误,并不能免除对工作的监督。

我讨论 AI Omniscience 分数,并认为 Opus 看起来比前代更不容易编造内容,尽管在我引用的比较中 Fable 仍更强。事实性基准只覆盖特定问题和条件,不能保证某个回答真实,也不能确定错误产生的原因。

Skatebench 结果
幻灯片 9 / 10Skatebench 结果Theo 的测试在特定基准中比较模型分数和设置。

在我的 Skatebench 测试中,Opus 5 两个测试努力程度均为 83%;Fable 两个设置分别为 84% 和 82%;Gemini 3.1 Pro 为 95%。这些接近的数字很有意思,但结果取决于基准和设置,不能证明通用排名。

在自己的工作流中,如果我想要一个快速、坚持完成任务的工具来处理脚本、助手任务或不准备合并的代码,我会选 Sol。我看重它的效率和指令遵循能力,但不太喜欢它有时生成的代码风格。

对于准备阅读的代码、前端工作和需要更广泛知识的冷门难题,我更喜欢 Fable。它也擅长编排其他工作。我的保留意见是,它有时会在找到看似可行的方案后停下,没有检查我想检查的所有边界情况。

当我不想每次都在这些特点之间取舍时,Opus 是我实用的折中选择。对于希望合并的工作,我计划默认使用它,同时让 Fable 或 Sol 审阅结果,直到建立更多信心。这是基于早期体验的工作流选择,不能取代人工审查。

Theo 的模型比较
幻灯片 10 / 10Theo 的模型比较他的笔记总结了自己偏好的 Sol、Fable 和 Opus 用途。

就绝对能力而言,Fable 仍是我的最爱,但 Opus 在订阅额度负担看起来更低的情况下,给了我许多类似体验。我看到自己的额度消耗速度差别很大,而底层 API 成本差距较小。你的任务类型和方案可能得到不同结果。

不要盲目相信我或其他评论者。用你能访问的模型运行同一个任务,比较输出;如果有帮助,再让独立模型或会话审阅两者。我对 Opus 能发现的问题,以及它实际解决我所提问题的频率,都感到惊讶。

同频道的其他文章

5 张幻灯片38:47EN → 简体中文
Theo - t3․gg· 2026年10月28日Theo 的长时间 Agent 实验:验证、算力与成本Theo Browne · Ping Labs滑板游戏和两个编译器项目展示了反复检查与弹性算力如何支撑 agent 工作,也揭示了循环可能带来的高昂成本。编程智能体智能体工程AI cost & performance+2
5 张幻灯片36:07EN → 简体中文
Theo - t3․gg· 2026年10月27日Theo 谈 Token 成本、编程智能体与 AI 能力的价格Theo Browne · Ping Labs一则关于 Lauren 的 AI 支出估算广泛传播,引出了对缓存计价、基准测试和编程智能体工作方式的讨论。AI cost & performance编程智能体Inference+1
5 张幻灯片30:37EN → 简体中文
Theo - t3․gg· 2026年10月26日Theo 的三个技能:用编程智能体审查和交付代码Theo Browne · Ping Labssol-loop、full-send 和 full-stop 如何定义审查、验证以及不同程度的合并权限。Agent skills编程智能体Code review & verification+2
2 张幻灯片0:43EN → 简体中文
Theo - t3․gg· 2026年10月23日Theo 区分安全漏洞与实际攻击Theo Browne · Ping Labs一段简短讲解:软件漏洞披露和攻击事件为何属于不同类型的安全新闻。CybersecuritySoftware engineering
6 张幻灯片29:22EN → 简体中文
Theo - t3․gg· 2026年10月22日Theo 谈安全漏洞、被盗 API 密钥与 AITheo Browne · Ping Labs从漏洞披露到补丁部署之间的风险窗口,以及被盗推理密钥为何可能有价值的推测。CybersecurityAI securitySoftware engineering+1
4 张幻灯片31:13EN → 简体中文
Theo - t3․gg· 2026年10月20日Theo:更聪明的模型为何能帮助更多人Theo Browne · Ping Labs从游戏修改到编译器实验,Theo 重新思考谁能从更强大的 AI 中受益。编程智能体Developer productivityHuman-AI Collaboration+1