摘要
30 秒看懂
在 2025 年 8 月的视频中，Matthew Berman 回顾 Anthropic 的 Claude Opus 4.1 公告及其选定基准比较。他看到多项编程测试有所提升，但也指出航空工具使用成绩下降，并认为实际测试很重要。
- 1编程成绩展示的 SWE-bench Verified 成绩从 72.5% 上升到 74.5%，提高了两个百分点。
- 2工具使用有升有降Terminal-Bench 成绩上升，但 TAU-bench 航空部分从 59.6% 降至 56.0%。
- 3按任务比较表格显示其他模型在 GPQA Diamond 和 AIME 2025 上领先；Berman 计划进行实际测试。
要点建议
- Anthropic 展示的比较中，Opus 4.1 在 SWE-bench Verified 上达到 74.5%，Opus 4 为 72.5%。
- 表格中的 Terminal-Bench 成绩上升，而 TAU-bench 航空部分下降。
- 展示的 GPQA 和 AIME 比较中其他模型领先；结果取决于评估设置和任务。
- Berman 认为实际使用是基准测试的重要补充。
全文
按章节阅读整理后的全文
01
Opus 4.1 发布
Berman 介绍 Anthropic 的更新及其宣称的目标。
Anthropic 在 2025 年 8 月宣布 Claude Opus 4.1，称它是面向智能体工作、编程和推理的 Opus 4 更新。我回顾了公司报告的基准表格；它反映的是当时选定的测试和设置。
02
基准测试与实际使用
他回顾编程、工具使用和推理成绩，并强调实践评估。
在 SWE-bench Verified 上，展示的成绩从 Opus 4 的 72.5% 升至 Opus 4.1 的 74.5%，提高了两个百分点。Anthropic 还描述了研究和分析能力的改进，包括细节跟踪和智能体搜索。
表格显示 Terminal-Bench 从 39.2% 升至 43.3%，GPQA Diamond 从 79.6% 升至 80.9%。TAU-bench 零售部分从 81.4% 升至 82.4%，航空部分则从 59.6% 降至 56.0%。其他展示类别的提升较小。
在展示的比较中，Opus 4.1 在两项编程基准上领先表中的 o3 和 Gemini 2.5 Pro，而这两个模型在 GPQA Diamond 和 AIME 2025 上得分更高。这些选定数字不能确立普遍排名。
我认为重要的问题是模型在实际任务中如何表现，因此计划进行测试。我认为 Claude 尤其擅长智能体编程，是 2025 年的判断，并非当前排行榜，也不是对所有工作流的保证。
同频道的其他文章
25:50EN → 简体中文Kimi K3.1 Pro 实测：3D 演示出色，表现不一，价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力，并比较基准成绩与价格。
32:20EN → 简体中文本地 AI 究竟适合谁？成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权，与硬件成本、设置复杂度及推理速度之间的关系。
0:22EN → 简体中文机器人保镖短片展示戏剧性的救援场景Matthew Berman · Forward FutureMatthew Berman 观看一段展示格斗与车辆救援场景的机器人短片。
45:08EN → 简体中文Sam Altman 谈 AI 发现、意识、算力与以人为本的未来Matthew Berman, Sam Altman · Forward Future在与 Matthew Berman 的对谈中，Altman 讨论科学进步、个人助手、递归自我改进与人类自主权。
0:32EN → 简体中文Sam Altman 谈持续存在的软件工作需求Sam Altman, Matthew Berman · OpenAI在一段简短访谈中，Altman 表示，尽管 AI 正在改变软件的制作方式，软件需求可能比人们预想的更大。
12:14EN → 简体中文Gemini 4 Argon 实测：3D 演示、电子表格原型与基准成绩Matthew Berman · Forward FutureMatthew Berman 用游戏和视觉项目测试 Google 模型，并比较公布的编程与智能体基准。