30 秒看懂
Theo 将 Fable 5 介绍为带有额外防护的 Mythos 级模型,并回顾早期基准测试结果。他提醒拒答可能影响比较,质疑 SWE-bench Pro 的可靠性,同时分享对其他编程评估的理解。
- 1Fable 与 MythosTheo 表示,Fable 提供带有额外防护的 Mythos 级模型。
- 2拒答影响分数他说 Fable 拒绝了一些测试任务,并报告所示比较中 Terminal-Bench 与 Mythos 相差约 20 分。
- 3质疑基准测试他报告 SWE-bench Pro 的强劲结果,但质疑该测试使用现有拉取请求是否会影响分数可靠性。
- 4早期编程结果Theo 讨论 DataCurve 的结果及自己对该评估中性能和成本的理解。
要点建议
- Theo 将 Fable 5 描述为带有额外防护的 Mythos 级模型访问方式。
- 受防护模型拒绝基准测试任务可能导致分数降低。
- Theo 质疑 SWE-bench Pro 能否充分衡量解决新问题的能力,而不是对现有拉取请求的熟悉程度。
- 他认为早期 FrontierCodeBench 和 DataCurve 结果值得关注,但单项测试的范围有限。
- 他的成本比较反映当时测量的任务和用量,并非普遍的价格优势。
按章节阅读整理后的全文
防护与基准结果
Theo 介绍 Fable 和 Mythos,并解释为什么拒答会让基准测试比较变得复杂。
我们听说 Mythos 已经很久了,现在得到的是 Fable 5:它是带有额外防护的 Mythos 级模型,而不是不受限制地访问 Mythos 5。我想看看它能做什么,以及如何解读早期基准测试。

有些基准测试表格将 Mythos 5 和 Fable 5 合并列出,但 Fable 拒绝了一些任务。我报告的比较中,Fable 的 Terminal-Bench 得分比 Mythos 测试低约 20 分。因此,解读时需要区分所测底层能力与防护和拒答造成的影响。
评估编程能力
他质疑 SWE-bench Pro,并报告其他早期编程测试结果,也讨论视觉能力和特定任务的成本。
报告中的 SWE-bench Pro 分数约为 80%,但我不太信任这项测试。许多任务基于已有拉取请求,我担心模型在训练中接触相关材料可能让重建变得更容易。这是我对测试的担忧,并非某次测试发生数据污染的证据。
我觉得 FrontierCodeBench 更有意思。在我看到的比较中,Mythos 得分约 30%,Opus 4.8 为 13%,GPT-5.5 为 5.7%。我还看到视觉和空间推理能力有所提升,但单项测试不能确立模型的全面优势。
DataCurve 与我分享了早期编程结果。在展示的评估中,我认为高推理强度下的 Fable 与 GPT-5.5 相当,并以较低的测量成本超过 Opus 的结果。即使模型单价更高,某些任务消耗较少 token 也会改变总成本;这只是特定任务的比较,不保证适用于所有工作负载。
同频道的其他文章
38:47EN → 简体中文
36:07EN → 简体中文
30:37EN → 简体中文
0:43EN → 简体中文
29:22EN → 简体中文
31:13EN → 简体中文