Theo 初看 Fable 5 及其基准测试

原标题Theo’s First Look at Fable 5 and Its Benchmarks

Theo 讨论 Fable 与 Mythos 的关系、基准测试中的拒答,以及早期编程测试结果。

ThTheo讲者
频道
Theo - t3․gg
发布
2026年6月12日
视频
2:30
阅读
2 分钟
幻灯片
1
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

Theo 将 Fable 5 介绍为带有额外防护的 Mythos 级模型,并回顾早期基准测试结果。他提醒拒答可能影响比较,质疑 SWE-bench Pro 的可靠性,同时分享对其他编程评估的理解。

  1. 1Fable 与 MythosTheo 表示,Fable 提供带有额外防护的 Mythos 级模型。
  2. 2拒答影响分数他说 Fable 拒绝了一些测试任务,并报告所示比较中 Terminal-Bench 与 Mythos 相差约 20 分。
  3. 3质疑基准测试他报告 SWE-bench Pro 的强劲结果,但质疑该测试使用现有拉取请求是否会影响分数可靠性。
  4. 4早期编程结果Theo 讨论 DataCurve 的结果及自己对该评估中性能和成本的理解。

要点建议

  1. Theo 将 Fable 5 描述为带有额外防护的 Mythos 级模型访问方式。
  2. 受防护模型拒绝基准测试任务可能导致分数降低。
  3. Theo 质疑 SWE-bench Pro 能否充分衡量解决新问题的能力,而不是对现有拉取请求的熟悉程度。
  4. 他认为早期 FrontierCodeBench 和 DataCurve 结果值得关注,但单项测试的范围有限。
  5. 他的成本比较反映当时测量的任务和用量,并非普遍的价格优势。
全文

按章节阅读整理后的全文

只看原始文稿
01

防护与基准结果

Theo 介绍 Fable 和 Mythos,并解释为什么拒答会让基准测试比较变得复杂。

我们听说 Mythos 已经很久了,现在得到的是 Fable 5:它是带有额外防护的 Mythos 级模型,而不是不受限制地访问 Mythos 5。我想看看它能做什么,以及如何解读早期基准测试。

Mythos 与 Fable 基准测试表
幻灯片 1 / 1Mythos 与 Fable 基准测试表展示的表格将 Mythos 5 和 Fable 5 的结果合并标注;Theo 解释防护措施可能影响比较。

有些基准测试表格将 Mythos 5 和 Fable 5 合并列出,但 Fable 拒绝了一些任务。我报告的比较中,Fable 的 Terminal-Bench 得分比 Mythos 测试低约 20 分。因此,解读时需要区分所测底层能力与防护和拒答造成的影响。

02

评估编程能力

他质疑 SWE-bench Pro,并报告其他早期编程测试结果,也讨论视觉能力和特定任务的成本。

报告中的 SWE-bench Pro 分数约为 80%,但我不太信任这项测试。许多任务基于已有拉取请求,我担心模型在训练中接触相关材料可能让重建变得更容易。这是我对测试的担忧,并非某次测试发生数据污染的证据。

我觉得 FrontierCodeBench 更有意思。在我看到的比较中,Mythos 得分约 30%,Opus 4.8 为 13%,GPT-5.5 为 5.7%。我还看到视觉和空间推理能力有所提升,但单项测试不能确立模型的全面优势。

DataCurve 与我分享了早期编程结果。在展示的评估中,我认为高推理强度下的 Fable 与 GPT-5.5 相当,并以较低的测量成本超过 Opus 的结果。即使模型单价更高,某些任务消耗较少 token 也会改变总成本;这只是特定任务的比较,不保证适用于所有工作负载。

同频道的其他文章

5 张幻灯片38:47EN → 简体中文
Theo - t3․gg· 2026年10月28日Theo 的长时间 Agent 实验:验证、算力与成本Theo Browne · Ping Labs滑板游戏和两个编译器项目展示了反复检查与弹性算力如何支撑 agent 工作,也揭示了循环可能带来的高昂成本。编程智能体智能体工程AI cost & performance+2
5 张幻灯片36:07EN → 简体中文
Theo - t3․gg· 2026年10月27日Theo 谈 Token 成本、编程智能体与 AI 能力的价格Theo Browne · Ping Labs一则关于 Lauren 的 AI 支出估算广泛传播,引出了对缓存计价、基准测试和编程智能体工作方式的讨论。AI cost & performance编程智能体Inference+1
5 张幻灯片30:37EN → 简体中文
Theo - t3․gg· 2026年10月26日Theo 的三个技能:用编程智能体审查和交付代码Theo Browne · Ping Labssol-loop、full-send 和 full-stop 如何定义审查、验证以及不同程度的合并权限。Agent skills编程智能体Code review & verification+2
2 张幻灯片0:43EN → 简体中文
Theo - t3․gg· 2026年10月23日Theo 区分安全漏洞与实际攻击Theo Browne · Ping Labs一段简短讲解:软件漏洞披露和攻击事件为何属于不同类型的安全新闻。CybersecuritySoftware engineering
6 张幻灯片29:22EN → 简体中文
Theo - t3․gg· 2026年10月22日Theo 谈安全漏洞、被盗 API 密钥与 AITheo Browne · Ping Labs从漏洞披露到补丁部署之间的风险窗口,以及被盗推理密钥为何可能有价值的推测。CybersecurityAI securitySoftware engineering+1
4 张幻灯片31:13EN → 简体中文
Theo - t3․gg· 2026年10月20日Theo:更聪明的模型为何能帮助更多人Theo Browne · Ping Labs从游戏修改到编译器实验,Theo 重新思考谁能从更强大的 AI 中受益。编程智能体Developer productivityHuman-AI Collaboration+1