Matthew Berman 直播测试 Claude Opus 4.8 与动态工作流

原标题Matthew Berman Tests Claude Opus 4.8 and Dynamic Workflows Live

一场发布日直播将 Anthropic 报告的基准成绩与非正式编程实验、多智能体网站改版放在一起考察。

MBMatthew Berman主持 · Forward Future
频道
Matthew Berman
发布
2026年5月28日
视频
2:34:17
阅读
10 分钟
幻灯片
6
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

在 2026 年 5 月的直播中,Matthew Berman 解读 Anthropic 的 Opus 4.8 公告,测试几个小型交互项目,并用 Claude Code 的动态工作流改版自己的网站。他认为智能体协作过程很有意思,却更喜欢旧设计;文章区分了公司声明、传闻和个人观察。

  1. 1基准成绩需要结合条件看Anthropic 报告的编程成绩因评测和配置而异。
  2. 2没有说出的目标洗车问题说明,含糊的提示可能引出表面合理却不符合意图的答案。
  3. 3交互原型生成的魔方和游戏既有有用的初步成果,也有界面问题。
  4. 4多智能体,结果喜忧参半改版工作流会分工、验证和修复,但主持人更喜欢原网页。

要点建议

  1. 不同测试的模型排名并不相同,报告的基准成绩不能确定统一的模型排名。
  2. 洗车问题的目标不够明确,模型在澄清意图前给出了不一致的回答。
  3. 小游戏和编辑器原型既展示了可用结果,也暴露了交互问题。
  4. 网站改版使用多个智能体和反复验证,但 Berman 不喜欢最终设计的许多细节。
  5. 价格、访问方式和融资说法反映的是发布时的公告。
全文

按章节阅读整理后的全文

只看原始文稿
01

发布日初探

Berman 解读公告,并说明自己提前试用的局限。

在这场 2026 年 5 月的直播中,我要看 Claude Opus 4.8 的发布内容,讨论另一款模型可能发布的传闻,并和观众一起测试编程任务。直播中有关 GPT-5.6 的传闻没有得到证实,不能视为其已经发布。

Anthropic 给了我提前访问的机会,但开播前我只试了约十分钟。因此我先阅读公告,把自己的初步印象当作暂时判断。

我更关心完成一项任务的总成本,而不只是单个 token 的价格。我希望模型能用更少的 token 写出更好的代码、做出更好的判断,但仅凭公告无法确定我的实际任务成本。

Anthropic 称,新模型的判断力更敏锐,进度报告更诚实,能比前代更长时间地独立工作。公司还说标准价格不变;这些都是发布时的公司说法和定价条件。

我喜欢响应速度快的模型,并讨论 Anthropic 所称速度约为 2.5 倍的快速模式。实际吞吐量和成本取决于产品与工作负载;我对 Claude 风格的偏好则是主观感受。

公告介绍了名为动态工作流的研究预览:Claude Code 可以规划任务、分派并行子智能体并验证结果。我想知道这种方式会消耗多少 token,以及它是否真的能改善复杂任务。

02

基准测试与经济性

他比较报告的成绩,讨论定价、成本和企业采用。

我查看公布的编程基准成绩。公司表格报告 Opus 4.8 在 SWE-bench Pro 上得到 69.2%,并列出其他模型的成绩;差异适用于所报告的测试设置,不能直接推广到所有软件项目。

报告的编程基准成绩
幻灯片 1 / 6报告的编程基准成绩Anthropic 的发布表格按所述基准条件比较模型成绩。

我把这张表与另一项编程基准比较,注意到不同评测的排名可能相反。基准测试是有用证据,但测试任务、模型设置、运行框架和采样方式可能与日常开发不同。

在 Terminal-Bench 2.1 的展示表格中,报告结果把 GPT-5.5 排在前面。我说有些开发者在实际编程中更喜欢它,而我在许多任务上仍然更喜欢 Opus。

我查看报告中的 Humanity’s Last Exam、计算机使用、GDPval-AA 和金融分析基准成绩。这些是尺度不同的独立任务,所报告的进步不能合并成一个衡量智能的通用指标。

我猜测,如果工作价值足够高,金融用户或许愿意接受更高的 token 成本。但实际经济性仍取决于准确率、验证方式和具体工作流。

Anthropic 表示,动态工作流可以调动几十到几百个智能体处理迁移、查找缺陷或验证等任务。我猜测这项功能为何在此时推出,但公司的算力安排并不能证明我的解释。

我比较了可以快速切换模型的个人用户,以及面临合同、集成和变更管理成本的组织。视频中关于公司收入和盈利能力的说法属于转述或猜测,并非独立证实的数据。

03

动态工作流与模型传闻

他考察编排机制,并区分公司的计划与猜测。

我读到动态工作流可能消耗多得多的 token,因此应该先在范围明确的任务上试用。这里提到的产品访问条件和设置均来自直播当时的公告。

公告称,用户可以提出工作流请求,或使用名为 ultra code 的工作力度设置。我认为,即便许多子任务并行执行,主协调者的规划与分工仍然重要。

公告把工作流描述为规划、分配子任务、检查结果以及进行对抗式尝试的过程。我指出,编排是模型外的一套系统,不一定是基础模型本身单独展示出的能力。

我想知道为什么没有直接展示新工作流模式与单次运行的基准比较。没有受控对照,就无法仅凭公告量化这种编排带来的提升。

一位观众提到可能存在 Mythos 类模型。起初我找不到来源,因此把它视为未经证实的信息;后来找到公司声明,便将其作为未来计划讨论,而不是说它已向大众发布。

04

洗车问题与编程原型

观众提出的提示用于测试推理、足球游戏、魔方、编辑器和街机游戏。

我开始用观众建议做非正式测试:3D 足球游戏、魔方模拟和一个洗车问题。这些都是规模小、没有严格控制的例子,不能全面比较不同模型。

对于“我要去洗车;洗车店在 50 英尺外;应该走路还是开车”的问题,模型两次回答走路。我原本想表达的是要洗车,所以期待它回答开车;观众指出,题目的措辞存在歧义。

当我明确问如果走路怎么把车洗了,模型便改口说开车。我认为最初的回答没有推断出我的意图;这段对话也说明,把任务说清楚会改变答案。

足球原型一开始似乎坏了,因为电脑不断得分。等我弄懂控制方式后,我能把球踢出去,觉得它更可用了,不过视觉效果和行为还不够完善。

魔方任务仍在缓慢生成,我转而使用 Claude Code。由于担心用完额度,我在部分测试中选择了较低的工作力度。

一位观众建议做能剪切、重新构图和添加标题的视频编辑器。智能体追问应用形式、重新构图的含义,以及需要真正导出还是只做原型;我选择做一个可工作的原型。

回到模型公告,我读到快速模式相对于此前的产品降价。公告列出的当时标准输入和输出价格分别是每百万 token 5 美元和 25 美元,快速模式分别是 10 美元和 50 美元。

Anthropic 表示,一类能力更强的 Mythos 模型正在有限的网络安全用户群中测试,并计划在建立安全措施后扩大可用范围。这是公司在直播时所说的计划,不能证明之后已经发布,也不能证明模型表现。

视频编辑器智能体提出用单个 HTML 文件实现预览、时间线、剪切、重新构图和标题。我同意这个原型方案,同时发起另一项太空侵略者游戏请求。

我在 Claude Code 中再次测试洗车问题。一个回答开头短暂地说“走路”,随后却解释车必须开进洗车店,最终给出“开车”。我既注意到了开头的矛盾,也注意到它最终作了修正。

另一条回答推理说洗车时车必须在场,因此应该把车开过这 50 英尺。这个小实验既暴露了原问题的歧义,也显示同一回答内部可能出现不一致。

视频编辑器原型成功加载视频并显示时间线。我尝试剪切和重新构图控件,但并非所有交互都符合预期,因此能够加载文件并不等于证明整个编辑流程已经完成。

魔方原型
幻灯片 2 / 6魔方原型生成的交互模拟演示了魔方复原。

魔方模拟最终复原,并出现彩纸效果。我喜欢它能展示过程,不过速度控件和呈现方式仍需调整;这是快速视觉测试,不能证明生成的每一步都正确。

我试用生成的太空侵略者游戏,很喜欢熟悉的外观,但开始按钮起初没有响应。切换回来重试后我能玩了;屏幕最终可用,并不意味着之前的交互问题不存在。

另一位观众建议做登月游戏。我发起一个单独的生成任务,在模型工作时回到编辑器和其他原型,交替查看多个尚未完成的任务。

太空侵略者原型
幻灯片 3 / 6太空侵略者原型这款生成的街机游戏是几项非正式编程测试之一。

我查看太空侵略者的生成结果,考虑控制和敌人的行为是否合适。这只是非正式测试:看到游戏并成功操作是有用的第一步,但不是完整的质量评估。

05

设置网站改版

他提出改版需求,排查工作流配置,并讨论 Anthropic 的融资公告。

为了做一个更实质的测试,我请 Claude 保留 Forward Future 现有品牌颜色并重新设计网站。我想看看公告中的动态工作流能否协调处理真实代码仓库,而不只凭公告判断。

第一次启用动态工作流的过程令人困惑。我查看产品说明和设置,包括自动模式,试着弄清自己使用的界面是否支持该功能。

切换到命令行后又出现身份验证问题:工具提示 API 凭据无效。我先排查会话再尝试改版,因此这段延迟反映的是配置摩擦,不能说明最终设计的质量。

命令行配置正常后,我请求重新设计首页,并明确要求使用动态工作流。我打算把生成结果和现有网站比较;这是我的演示及其配置过程,不是要求观众执行的指令。

直播期间,我读到 Anthropic 宣布以 9650 亿美元投后估值完成 650 亿美元 H 轮融资。我也讨论了公告中关于年化收入和此前承诺资金的数字;这些是发布当日的公司说法,不代表公司现在的财务状况。

我猜测人工智能投资的规模以及基础设施资金会流向哪里。这些看法是我对公司公告和行业的解读,并不能证明每一美元都会流向某个供应商。

我回到登月原型。垂直速度读数在变化,但我觉得画面中的运动难以判断,最后还是坠毁了;这个尝试展示了生成模拟与直观易用的游戏之间仍有距离。

06

智能体协作与验证

工作流梳理网站、构思方案、实现选定方案并检查结果。

梳理网站
幻灯片 4 / 6梳理网站工作流把初步调查分派给多个智能体。

改版工作流开始用多个智能体梳理现有网站,随后探索设计方案并评估,然后才进入实现。这与公告所描述的分工方式相符。

我观察协调过程,想知道分拆工作是否值得额外花费时间和额度。并行智能体可以提供更多视角,但直播中没有进行受控的单智能体对照。

工作流从构思转向选择并实现一个方向。运行期间我回答观众问题并讨论其他工具;屏幕上的过程展示了系统如何编排任务,但不是其可靠性的基准测试。

验证阶段
幻灯片 5 / 6验证阶段改版工作流通过多个智能体检查成果。

验证阶段使用四个智能体检查工作。工作流发现问题后返回修复,这展示了实现与检查之间的循环,而不是一次不间断的生成。

修复后,工作流再次进入验证,这次使用八个智能体。我觉得这种迭代很有意思,同时也承认额外检查会花时间并消耗额度。

07

比较两套设计

Berman 评估生成的预览,并请观众在新旧设计之间投票。

运行约 29 分钟后完成,报告使用了 18 个智能体。我的账户显示约消耗了五小时额度的 15% 和每周额度的 3%;这些数字只对应我的账户和这次运行。

我打开生成的本地网站,与原版比较。流程确实生成了可运行的预览,但也改动了一些文案和品牌内容,因此我检查实际页面,而不是把运行成功直接等同于改版成功。

生成的首页改版
幻灯片 6 / 6生成的首页改版Berman 将预览与原有网站进行比较。

我的感受是新设计的圆角太多,留白也太多。我更喜欢旧版首屏的布局,不过有些观众喜欢新版的部分设计;这是主观的设计判断。

工作约半小时后,我对可见变化似乎不多、某些区域没有改动感到失望。观众投票最终有 196 人参与,52% 选择旧版,48% 选择新版;这反映的是这群观众的偏好,不能代表普遍的设计质量。

最后我感谢观众提供提示和问题。这场直播提供了观察 Opus 4.8 与动态工作流的初步机会,但这些小规模、未经控制的测试无法确定它们在其他任务上的表现。

同频道的其他文章

6 张幻灯片25:50EN → 简体中文
MBMatthew Berman· 2026年10月24日Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。Open-weight modelsBenchmarksAI cost & performance+1
2 张幻灯片32:20EN → 简体中文
MBMatthew Berman· 2026年10月23日本地 AI 究竟适合谁?成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权,与硬件成本、设置复杂度及推理速度之间的关系。Local inferenceOpen-weight modelsAI cost & performance+1
幻灯片0:22EN → 简体中文
MBMatthew Berman· 2026年10月21日机器人保镖短片展示戏剧性的救援场景Matthew Berman · Forward FutureMatthew Berman 观看一段展示格斗与车辆救援场景的机器人短片。Robotics评估
45:08EN → 简体中文
MBMatthew Berman· 2026年10月21日Sam Altman 谈 AI 发现、意识、算力与以人为本的未来Matthew Berman, Sam Altman · Forward Future在与 Matthew Berman 的对谈中,Altman 讨论科学进步、个人助手、递归自我改进与人类自主权。AI for sciencePersonal agentsConsciousness+2
0:32EN → 简体中文
MBMatthew Berman· 2026年10月21日Sam Altman 谈持续存在的软件工作需求Sam Altman, Matthew Berman · OpenAI在一段简短访谈中,Altman 表示,尽管 AI 正在改变软件的制作方式,软件需求可能比人们预想的更大。Future of WorkSoftware engineering编程智能体
5 张幻灯片12:14EN → 简体中文
MBMatthew Berman· 2026年10月14日Gemini 4 Argon 实测:3D 演示、电子表格原型与基准成绩Matthew Berman · Forward FutureMatthew Berman 用游戏和视觉项目测试 Google 模型,并比较公布的编程与智能体基准。GeminiBenchmarks编程智能体+1