摘要
30 秒看懂
Matthew Berman 对比了一张 SWE-bench Pro 表格和 DeepSWE 排行榜，认为排名与用户使用模型时的感受不同。他的批评是对结果的解读，并不能证明任何一个基准测试无效。
- 1基准测试受到质疑Berman 说，一些人认为 SWE-bench 排名与他们的使用感受不符，因而不再认真看待这些分数。
- 2不同的排行榜他说 DeepSWE 更能反映用户体验，并引用 GPT-5.5 约 70%、Opus 4.7 约 54% 的结果。
- 3相反的排序展示的 SWE-bench Pro 表格将 Opus 4.7 排在 GPT-5.5 之前，Opus 4.8 的分数更高。
要点建议
- Berman 质疑 SWE-bench 分数是否反映用户对编程模型的实际体验。
- 他引用的 DeepSWE 结果显示，GPT-5.5 约为 70%，Claude Opus 4.7 约为 54%。
- 展示的 SWE-bench Pro 图表将 Opus 4.7 排在 GPT-5.5 前面，Opus 4.8 的分数进一步提高。
全文
按章节阅读整理后的全文
01
对比 SWE-bench 与 DeepSWE
Berman 质疑 SWE-bench 排名是否符合用户的使用感受。他将展示的结果与 DeepSWE 对比，并评论了 Opus 4.8 和 Gemini 3.1 Pro。
接下来就有意思了。很多人说 SWE-bench 已经不行了：看到这样的分数，他们认为这个测试不再值得认真对待。图表中 Opus 4.7 比 GPT-5.5 高出约七八个百分点，这与他们使用模型的感受不符。
我做过一期关于 DeepSWE 的视频，我认为它更能反映人们使用这些模型时的感受。在那个排行榜上，GPT-5.5 使用 extra high 设置的得分约为 70%，Claude Opus 4.7 约为 54%，差距很大。
回到 SWE-bench 图表，GPT-5.5 和 Opus 4.7 之间的差距同样显著，但方向相反。现在 Opus 4.8 又有了大幅提升。
Google，拜托，做点什么吧。
同频道的其他文章
14:45EN → 简体中文
Matthew Berman· 2026年10月29日Matthew Berman 解读 Google 的 Gemini 4 Carbon 公告Matthew Berman · Forward FutureMatthew Berman 回顾 Google 公布的 Gemini 4 Carbon 基准结果、分阶段开放计划与定价，同时指出自己尚未使用该模型。
21:11EN → 简体中文Matthew Berman· 2026年10月28日Matthew Berman 实测 DeepSeek V4.1 Flash：编程、视觉与本地应用Matthew Berman · Forward Future从视觉编程、图像推理到本地应用和服务商价格，实测既展示了模型的能力，也暴露出明显缺陷。
34:21EN → 简体中文Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构，并质疑 AI 快速发展与安全之间的张力。
0:26EN → 简体中文Matthew Berman· 2026年10月25日Sam Altman 谈 AI 世界中的人类价值与问题解决Sam Altman · OpenAI在一段简短的访谈摘录中，Altman 思考解决难题的乐趣，以及人在解读结果时的作用。
0:36EN → 简体中文Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原，并对 Kimi K3.1 的测试给予积极评价。
0:21EN → 简体中文Matthew Berman· 2026年10月24日AI 生成的 Kimi 基准图表使用了虚构分数Matthew Berman · Forward FutureMatthew Berman 要求生成一张 Kimi K3.1 Pro 基准图表，随后发现图中的数字只是示意性占位值。